راهنمایی در مورد وب اسکرپینگ - web scraping
سلام دوستان وقت بخیر
نیاز به جمع آوری اطلاعات ساده از سایت های مختلف دارم بدون نیاز به لاگین و این چیزا
(مثلا فرض کنین تصویر، توضیحات و قیمت محصولات دیجی‌کالا رو میخوام بگیرم)
چه زبان و چه فریمورکی برای این کار پیشنهاد میکنین؟
همچنین اگه ابزار یا کتابخونه خوبی هم میشناسین ممنون میشم معرفی کنین.
تشکر
گزینش سوالات
گفت و گو های مرتبط
دسته بندی سوالات
تگ‌های محبوب
کار با beautifulsoup خیلی راحته
یه ریکوئست به صفحه وب مورد نظر میفرستین و ریسپانسی که میگیرین رو میدین به beautifulsoup و با استفاده از سلکتور های css یا موارد مشابه المنت مورد نظر و استخراج میکنین
به همین راحتی
https://beautiful-soup-4.readthedocs.io/en/latest/
@abdolrahman
خیلی ممنون بررسی میکنم فقط یه چیزی
میشه مثلا توی هاست سی پنل معمولی این کدهای پایتونی رو اجرا کرد؟
یا باید vps باشه؟
@elyas.dev
بعضی هاست ها از پایتون پشتیبانی میکنن و خیلی ها نه
میتونین یه هاست پایتونی بخرین و نیازی به vps نیست
البته اگه نمیخواین خرج کنین با php هم میشه انجام داد : https://github.com/paquettg/php-html-parser
خودتون میدونید
ولی نیازی به هاست نیست که تو سیستم خودتون میتونین اجراش کنید مگر اینکه یه سرویس انلاینی چیزی بخواین درست کنین
معمولا پایتون مناسب ترینه واسه این کارا