scraping سایت دیجی کالا با پایتون

این بخاطر اینه که وبسایت spa عه
اسکرپ کردن از این سایتا سخته

سلام
وب اسکرپ دیجیکالا شده موش و گربه بازی اون هی سایتش رو ارتقا میده ما نتونیم ماهم هی مهارتمون رو ارتقا میدیم بتونیم. دیدم کدیاد دات کام داره

سلام
من این پلاگین وردپرس رو خریدم که با php نوشته شده است به درستی کار می کنه
https://www.zhaket.com/web/digi-scarper-wordpress-plugin
می تونی نگاش بکنی و ایده بگیری

فایل اش هم خواستی بهم بگو برات بفرستم

سلام و وقتت بخیر
1- بگم که سلنیوم رو کلا بنداز دور از Playwright استفاده کن. هم سبک تره و هم کارباهاش کاربردی تر و بهینه تره.
2- اینکه عموما سرویس های ضدبات در اولین صفحه کاربردی نیستن. یعنی وقتی مروگر رو باز میکنی, بهت نمیگه "شما ربات هستید" وقتی وارد صفحه دوم بشی بهت میگه بخاطر همین معمولا من در بین اسکرپ ها, مروگر رو بسته و باز میکنم.
3- اینکه بهتره یه لیست مثلا 1000تایی از یوزراجنت کاربردی داشته باشی و هر دفعه از یکی استفاده کنی
4- این هست که لود دیتا های اضافی مثل CSS/Font/Image/Video رو متوقف کنی که فقط JS ها رندر شن تا بتونی سریعتر اسکرپ کنی
بهتره 2مدل مسیر(Path) داشته باشی. یدونه نسبی مثلا

.product .data .price

و

.product > div > ... > div 

تا مسیر ها گم نشن
این ایتم ها بنظرم تو اسکرپ کاربردی بودن حالا نکته دیگه ای شاید باشه من الان یادم نیست دقیق