جشنواره عیدانه راکت | عضویت ویژه راکت برای آخرین بار | افزایش قیمت‌ها از سال جدید | و ...

مشاهده اطلاعات بیشتر...
ثانیه
دقیقه
ساعت
روز
madadi
5 سال پیش توسط madadi مطرح شد
4 پاسخ

بررسی سایت با curl

سلام وقت بخیر

من چنتا سایت دارم (حدود بیست تا )
حالا من میخوام با استفاده از curl محتویات این سایت ها رو بخونم و ذخیره کنم.
این سایتها هرکدوم لاگین دارن
حالا من چیزی ایجاد کردم که میاد و لاگین میکنه و میره صفحه اول سایت رو میخونه بعد صفحه دوم و....
حالا چیزی که هست وقتی یه کرون میزنیم به یه سایت ممکنه 100 صفحه یا حتی بیشتر داشته باشه و باید 100 یا بیشتر curl زد
یه احتمال که هست اینه که ممکنه سرور ما رو بلاک کنن
حالا مدیر پروژه گفته بصورت عرضی بررسی بشن
یعنی اول سایت اول رو لاگین کنه و اطلاعات صفحه اول رو بخونه
بعد بره سایت دوم و لاگین کنه و اطلاعاتش رو بخونه
بعد بره صفحه سوم اطلاعاتش رو بخونه
و...
بعد دوباره برگرده سایت اول رو صفحه دومش
بعد سایت دوم و صفحه دوم و...

بنظرتون این باید چطور اجرایی بشه؟
به من گفتن که با event ها میشه اما من متوجه نشدم
چون سیستم رو با لاراول ساختم اینجا بیان کردم

ممنون میشم کمک کنید


ثبت پرسش جدید
madadi
@madadi 5 سال پیش مطرح شد
0

@dr-code.ir
مرسی
میشه با event ها این کار رو انجام داد؟


محمد صادقیان
تخصص : برنامه نویس وب - فریم ورک Lara...
@drcode.ir 5 سال پیش مطرح شد
0

شما می تونی توی 1 فایل ابتدا داده های اولیت رو تعریف کنی مثل زیر :

[
  {
    "link": "http1",
    "page": "1"
  },
  {
    "link": "http2",
    "page": "1"
  }
]

بعد توسط یه حلقه یکی یکی اینارو بخونی و بری تو link و page رو که شماره صفحه هست رو بخونی و بعد خوندن مقدار page++ بکنی که دفعه بعد بری صفحه بعدی.


masoud net
@netwons 5 سال پیش مطرح شد
0

@dr-code.ir

چطوری قسمتی از سایت رو با curlبگیریم و نمایش بدیم


masoud net
@netwons 5 سال پیش آپدیت شد
0

@dr-code.ir
اشکال این کد چیه که فقط یک تگ h2میاره

<?php
$url ="http://www.linkpad.ir";
$ch = curl_init();
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_URL, $url);
$html=curl_exec($ch);
curl_close ($ch);
 $i=0;
 preg_match( '/<h2>.*?</h2>/msi' , $html , $match ) ;
 echo implode(',', $match);   
?>

برای ارسال پاسخ لازم است وارد شده یا ثبت‌نام کنید

ورود یا ثبت‌نام