سوال در زمینه وب اسکرپینگ در سایت دیوار
سلام
من یه پروژه وب اسکرپینگ می خوام انجام بدم برای سایت دیوار که به این صورته که اول برنامه باید یه کلمه از کاربر بگیره(مثلا منزل فروشی) بعد توی سایت دیوار سرچ کنه(کد این قسمت نمیدونم چجوری بزنم) بعدش مشخصات ۲۰ تا آگهی اول بگیره و توی یه فایل اکسل ذخیره کنه. مشکل من اینجاست که اولا همونطوری که بالا گفتم نمیدونم برای سرچ یه کلمه که از کاربر گرفته میشه توی سایت چه کدی باید بزنم و دوما اینکه نمیدونم باید یو آر ال اولین صفحه ای که با سرچ کلمه کاربر بالا میاد که همون لیست آگهی ها هستش بزنم یا نه بعد از اینکه صفحه سرچ بالا اومد وارد اولین آگهی بشم و یو آر ال اون صفحه رو بزنم(البته چون ریز اطلاعات آگهی مثلا مثل قیمت و متراژ و اطلاعات تماس و... اینارو میخواد صد در صد اطلاعات حالت دومی که گفتم رو باید استخراج کنم ولی نمیدونم چجوری باید یه کد بنویسم که بعد از اینکه کاربر کلمه شو سرچ کرد و صفحه آگهی ها بالا اومد بره توی یه آگهی خاص و ریز اطلاعات اونو دربیاره)
ممنون میشم اگه راهنماییم کنین
پاسخها
5
درود
از چه زبانی میخواید برای توسعه این نرم افزار استفاده کنید ؟
از زبان پایتون میخوام استفاده کنم.
گفتگوهای مرتبط
شاید پاسخ شما همینجا باشد
سلام توی مرورگر سرچ کنید مثلا
divar/فروش خودرو
لیست آگهی های ایندکس شده توی گوگل میاد حالا با پایتون چطوری میشه خزش رو انجام داده بنده اطلاعی ندارم اگر php بود میتونستم راهنمایی کنم
نمونه
سلام
اول چک کنید که خود دیوار api نداشته باشه واسه این کار که اگه داره که کار راحته
راه دوم استفاده از سلنیوم و ... هست، وقتی کاربر یک کلمه سرچ زد میرید صفحه دیوار رو باز میکنید با سلنیوم بعد یکی یکی فیلدها رو انتخاب و سرچ میزنید و آدرس های ده رکورد اول رو میگیرید و ذخیره و خروجی اکسل میدید به کاربر
برای پایتون تو یوتیوب سرچ کنین میاره که چنتا روش داره و من خودم از روش اسکرپی استفاده کردم و نیازه کتابخونه scrapy رو import کنیم
البته تو یوتیوب فیلمش یکم قدیمیه نیاز داره کد ها دستکاری بشه