scraping با لاراول
سلام دوستان
من برای یه پروژه با لاراول باید حدود هزارتا وبسایت رو scrape کنم و ازشون اطلاعات واکشی کنم، اون هم به صورت همزمان، تا بتونم هر نیم ساعت این عملیات رو به صورت خودکار انجام بدم. کسی می تونه راهنمایی کنه با چه پکیجی میشه این کار رو کرد؟
پاسخها
4سلام لاراول و اصولا پی اچ پی برا اینکار اصلا مناسب نیست
من انجام دادم با گو یا پایتون انجام بدین
درود
با کمی تغییرات در سیستم این حالت رو میتونید با لاراول هم پیادهسازی کنید.
مثلا اینکه شما با فرستادن 1000 تا درخواست همزمان به سرورهای مختلف .. یه بار ترافیکی سنگین روی سرور بوجود میارید. اگر قرار باشه هر نیم ساعت یه بار اطلاعات به روز بشند ... میتونید در طی این نیم ساعت درخواست هارو بفرستید و بگیرید و در دیتابیس ذخیره کنید.. در لاراول میشه یه کلاس Job بوجود آورد و جاب ها رو queue کرد
گفتگوهای مرتبط
شاید پاسخ شما همینجا باشد
پکیج مناسب برای این کار سراغ ندارید؟
سلام
اگر فقط مجبورید از php استفاده کنید بهتره از curl کمک بگیرید. البته اگر فقط قصد خوندن فید دارید راهکارهای دیگری هم هست.
اما اگر دستتون باز هست پیشنهاد بنده اینه که دیتا را با nodeJs واکشی و ذخیره کنید. (برحسب موضوع دیتابسی یا فایل ) و بعد باقی رو با لاراول انجام بدید. چند سال قبل پروژه ای رو به همین سبک جلو رفتیم زیر بار سنگین هم مشکلی پیش نیومد.