بررسی سایت با curl
سلام وقت بخیر
من چنتا سایت دارم (حدود بیست تا )
حالا من میخوام با استفاده از curl محتویات این سایت ها رو بخونم و ذخیره کنم.
این سایتها هرکدوم لاگین دارن
حالا من چیزی ایجاد کردم که میاد و لاگین میکنه و میره صفحه اول سایت رو میخونه بعد صفحه دوم و....
حالا چیزی که هست وقتی یه کرون میزنیم به یه سایت ممکنه 100 صفحه یا حتی بیشتر داشته باشه و باید 100 یا بیشتر curl زد
یه احتمال که هست اینه که ممکنه سرور ما رو بلاک کنن
حالا مدیر پروژه گفته بصورت عرضی بررسی بشن
یعنی اول سایت اول رو لاگین کنه و اطلاعات صفحه اول رو بخونه
بعد بره سایت دوم و لاگین کنه و اطلاعاتش رو بخونه
بعد بره صفحه سوم اطلاعاتش رو بخونه
و...
بعد دوباره برگرده سایت اول رو صفحه دومش
بعد سایت دوم و صفحه دوم و...
بنظرتون این باید چطور اجرایی بشه؟
به من گفتن که با event ها میشه اما من متوجه نشدم
چون سیستم رو با لاراول ساختم اینجا بیان کردم
ممنون میشم کمک کنید
گزینش سوالات
گفت و گو های مرتبط
دسته بندی سوالات
تگ‌های محبوب
شما می تونی توی 1 فایل ابتدا داده های اولیت رو تعریف کنی مثل زیر :
[
{
"link": "http1",
"page": "1"
},
{
"link": "http2",
"page": "1"
}
]بعد توسط یه حلقه یکی یکی اینارو بخونی و بری تو link و page رو که شماره صفحه هست رو بخونی و بعد خوندن مقدار page++ بکنی که دفعه بعد بری صفحه بعدی.
@dr-code.ir
اشکال این کد چیه که فقط یک تگ h2میاره
<?php
$url ="http://www.linkpad.ir";
$ch = curl_init();
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_URL, $url);
$html=curl_exec($ch);
curl_close ($ch);
$i=0;
preg_match( '/<h2>.*?</h2>/msi' , $html , $match ) ;
echo implode(',', $match);
?>