راکت

راهنمایی در مورد وب اسکرپینگ - web scraping

7 پاسخ

سلام دوستان وقت بخیر
نیاز به جمع آوری اطلاعات ساده از سایت های مختلف دارم بدون نیاز به لاگین و این چیزا
(مثلا فرض کنین تصویر، توضیحات و قیمت محصولات دیجی‌کالا رو میخوام بگیرم)
چه زبان و چه فریمورکی برای این کار پیشنهاد میکنین؟
همچنین اگه ابزار یا کتابخونه خوبی هم میشناسین ممنون میشم معرفی کنین.
تشکر

ثبت پرسش جدید

پاسخ‌ها

7
Ibo Kiani
Ibo Kiani
@abdoki7788

تخصص: Backend developer

پایتون و کتابخانه selenium کاملا مناسب کار شما هستن

Ibo Kiani
Ibo Kiani
@abdoki7788

تخصص: Backend developer

البته اگه نیاز به لاگین و این چیزا ندارین beautifulsoup کافی و مناسبه

شاید پاسخ شما همین‌جا باشد

Ibo Kiani
Ibo Kiani
@abdoki7788

تخصص: Backend developer

کار با beautifulsoup خیلی راحته
یه ریکوئست به صفحه وب مورد نظر میفرستین و ریسپانسی که میگیرین رو میدین به beautifulsoup و با استفاده از سلکتور های css یا موارد مشابه المنت مورد نظر و استخراج میکنین
به همین راحتی
https://beautiful-soup-4.readthedocs.io/en/latest/

الیاس سخاوتی نیا
الیاس سخاوتی نیا
@elyassir

تخصص: علاقه‌مند به برنامه‌‎نویسی

@abdolrahman
خیلی ممنون بررسی میکنم فقط یه چیزی
میشه مثلا توی هاست سی پنل معمولی این کدهای پایتونی رو اجرا کرد؟
یا باید vps باشه؟

Ibo Kiani
Ibo Kiani
@abdoki7788

تخصص: Backend developer

@elyas.dev
بعضی هاست ها از پایتون پشتیبانی میکنن و خیلی ها نه
میتونین یه هاست پایتونی بخرین و نیازی به vps نیست
البته اگه نمیخواین خرج کنین با php هم میشه انجام داد : https://github.com/paquettg/php-html-parser

الیاس سخاوتی نیا
الیاس سخاوتی نیا
@elyassir

تخصص: علاقه‌مند به برنامه‌‎نویسی

@abdolrahman
قبلا با php تست کردم سرعتش زیاد جالب نبود

Ibo Kiani
Ibo Kiani
@abdoki7788

تخصص: Backend developer

خودتون میدونید
ولی نیازی به هاست نیست که تو سیستم خودتون میتونین اجراش کنید مگر اینکه یه سرویس انلاینی چیزی بخواین درست کنین
معمولا پایتون مناسب ترینه واسه این کارا

برای ارسال پاسخ لازم است وارد شده یا ثبت‌نام کنید

ورود یا ثبت‌نام