پانیذ
1 سال پیش توسط پانیذ مطرح شد
5 پاسخ

سوال در زمینه وب اسکرپینگ در سایت دیوار

سلام
من یه پروژه وب اسکرپینگ می خوام انجام بدم برای سایت دیوار که به این صورته که اول برنامه باید یه کلمه از کاربر بگیره(مثلا منزل فروشی) بعد توی سایت دیوار سرچ کنه(کد این قسمت نمیدونم چجوری بزنم) بعدش مشخصات ۲۰ تا آگهی اول بگیره و توی یه فایل اکسل ذخیره کنه. مشکل من اینجاست که اولا همونطوری که بالا گفتم نمیدونم برای سرچ یه کلمه که از کاربر گرفته میشه توی سایت چه کدی باید بزنم و دوما اینکه نمیدونم باید یو آر ال اولین صفحه ای که با سرچ کلمه کاربر بالا میاد که همون لیست آگهی ها هستش بزنم یا نه بعد از اینکه صفحه سرچ بالا اومد وارد اولین آگهی بشم و یو آر ال اون صفحه رو بزنم(البته چون ریز اطلاعات آگهی مثلا مثل قیمت و متراژ و اطلاعات تماس و... اینارو میخواد صد در صد اطلاعات حالت دومی که گفتم رو باید استخراج کنم ولی نمیدونم چجوری باید یه کد بنویسم که بعد از اینکه کاربر کلمه شو سرچ کرد و صفحه آگهی ها بالا اومد بره توی یه آگهی خاص و ریز اطلاعات اونو دربیاره)
ممنون میشم اگه راهنماییم کنین


ثبت پرسش جدید
MagicalDev
تخصص : Laravel Developer
@magicaldev1 1 سال پیش مطرح شد
0

درود
از چه زبانی میخواید برای توسعه این نرم افزار استفاده کنید ؟


پانیذ
@pniz30 1 سال پیش مطرح شد
0

از زبان پایتون میخوام استفاده کنم.


vahid1379
تخصص : wp developer
@vahid1379 1 سال پیش مطرح شد
0

سلام توی مرورگر سرچ کنید مثلا
divar/فروش خودرو
لیست آگهی های ایندکس شده توی گوگل میاد حالا با پایتون چطوری میشه خزش رو انجام داده بنده اطلاعی ندارم اگر php بود میتونستم راهنمایی کنم
نمونه


developer
تخصص : برنامه نویس
@developer 1 سال پیش مطرح شد
0

سلام
اول چک کنید که خود دیوار api نداشته باشه واسه این کار که اگه داره که کار راحته
راه دوم استفاده از سلنیوم و ... هست، وقتی کاربر یک کلمه سرچ زد میرید صفحه دیوار رو باز میکنید با سلنیوم بعد یکی یکی فیلدها رو انتخاب و سرچ میزنید و آدرس های ده رکورد اول رو میگیرید و ذخیره و خروجی اکسل میدید به کاربر


محمدرضا شکری
تخصص : متخصص هوش مصنوعی
@mmadreza081 1 سال پیش مطرح شد
0

برای پایتون تو یوتیوب سرچ کنین میاره که چنتا روش داره و من خودم از روش اسکرپی استفاده کردم و نیازه کتابخونه scrapy رو import کنیم
البته تو یوتیوب فیلمش یکم قدیمیه نیاز داره کد ها دستکاری بشه


برای ارسال پاسخ لازم است وارد شده یا ثبت‌نام کنید

ورود یا ثبت‌نام