madadi
6 سال پیش توسط madadi مطرح شد
5 پاسخ

دریافت اطلاعات از 15 سایت متفاوت

سلام وقت بخیر
من یه پروژه دارم که میخوام داده هایی رو از 15 سایت متفاوت بگیرم

این داده ها اطلاعات مربوط به پرواز هست
حالا باید با crul زدن ورود انجام بشه بعد فرم ارسال ، نتیجه نمایش و صفحه بندی هم بررسی و داده ها ذخیره بشن

حالا مشکل اصلی من این که تو php اگه هر سایت رو بزاریم پشت سر هم کرل بخوره اول اینکه خیلی زمان میبره و دوم اینکه ممکنه سرور رو ببندن یا ای پی سرور رو سایت مقصد فیلتر کنه

ممنون میشم اگر کسی از دوستان همچین پروژه ای داشته منو راهنمایی کنه

پروژه تو لاراول در حال انجام هست


ثبت پرسش جدید
Alimotreb
تخصص : کانفیگ سرور و برنامه نویس
@Alimotreb 6 سال پیش مطرح شد
0

سلام
@madadi

اگر درخواست ها زمان بندی شده باشه بعید میدونم سرور رو ببندن
کد بهینه باشه
زمان بندی شده باشه
مشکلی پیش نمیاد


madadi
@madadi 6 سال پیش مطرح شد
0

سلام
ممنون از پاسختون
من راه حلش رو میخوام بدونم
زبان بندی چطور باشه؟
از queue استفاده کنم؟
اخه نتیجه رو انلاین میخوان


Alimotreb
تخصص : کانفیگ سرور و برنامه نویس
@Alimotreb 6 سال پیش مطرح شد
0

سلام
@madadi

خواهش میکنم
ببینید حالا من نمیدونم دیتاتون چطوریه
ولی به فرض شما میتونید هر به فرض 4 دقیقه یا 5 دقیقه یکبار با کرون جاب ، یه درخواست به اون سایت ها بزنید
اطلاعات رو تو دیتابیس سیو کنه

بعد اون رو برای استفاده بزارید با تایمش ، بعد بنویسید نتایج هر 4 دقیقه رفرش خواهند شد
یه همچین داستانی

queue ها هم میتونه مفید باشه
ولی با کرون جاب خیلی منظم تر و دقیق تر و حساب شده تر میتونید کار کنید
زمان بندی این شکلی.


1masoud
تخصص : php,laravel
@masoudproton 6 سال پیش آپدیت شد
0

[]
@code2code (https://roocket.ir/@Alimotreb)[@Alimotreb](https://roocket.ir/@Alimotreb)
این بهینه سازی که میگید چیه ؟الان من همین کاری که دوستمون می خواد انجام بده من انجام دادم اینم لینکش نگاه کنید نظرتون رو بابت بهینه شدنش بگید و این که چرا لود این برنامه من طولانیه(کار برنامه اینه که میاد ۲۰۰ تا لینک رو با curl میخونه و اطلاعاتی رو برمیگردونه میشه راهنمایی کنید بابت بهینه و کم شدن زمان لود برنامه)
اینم لینک برنامه
https://mega.nz/#!REpCDKxR!g20JvChoFYTj3lsKTHJRbcewe_NovDz5XWJIaY2BgGs

اگر رمز خواست این رو بزنید g20JvChoFYTj3lsKTHJRbcewe_NovDz5XWJIaY2BgGs


سجاد
تخصص : برنامه نویس
@sajaddp 6 سال پیش مطرح شد
0

سلام
همون طوری که دوستان گفتند شما باید از کرون جاب برای دریافت دیتا استفاده کنید به این ترتیب مشکلی براتون پیش نمیاد فقط فاصله زمانی رو رعایت کنید و کد خودتون رو به نحوی بنویسید که منابع و زمان کمتری نیاز داشته باشه. ( در تاپیک دیگه ای که زده بودید برخی اشکالاتش رو خدمتتو نفرستادم. )
15 سایت هم تعداد کمی هست و مشکلی پیش نمیاد.


برای ارسال پاسخ لازم است وارد شده یا ثبت‌نام کنید

ورود یا ثبت‌نام