سلام ،من یه scrapper برای دریافت اطلاعات از یک وبسایت داخل ایران که فقط از طریق داخل کشور قابل دسترسی هستش نوشتم و به درستی کار می کنه داخل لوکالم و کار می کرد روی سرور ولی بعد یه مدت متوجه شدم که ریکوست ها پاسخی براشون دریافت نمیشه توی سرور که حدس می زنم ip سرور بلاک شده ، با تغیر user agent هم تغیری در نتیجه رخ نمیده ،راهی برای دور زدن این بلک لیست هستش ؟
یکی از راهایی که تو اینترنت پیدا کردم استفاده از یه لیست پروکسی ولی پروکسی های داخل ایران هیچکدوم کار نمی کردن اونایی که تو سطح اینترنت هستند (چه سایت های فارسی چه انگلیسی )،راهی هست که بتونم مثلا یه تعداد ای پی داخل سرور ایجاد کنم ؟
کد رسپانس چیه ؟
اگر بلاک کرده باشه یا باید تعداد ریکوست رو کم کنید یا وی پی ا ن داخلی وصل شید .
چون میگید فقط از ایران در دسترسه نمیشه از تور استفاده کنید .
همین دوراه بالا رو دارید. شایدم مشکل از اون نباشه . بازم ارور رو چک کنید
سلام
از تور استفاده کنید سعی کنید بعد از یک مدت با استفاده از proxy یک IP جدید برای خودتون ست کنید. یا اینکه تعداد ریکوئست ها رو در دقیقه کم کنید و با چندین سرور یا IP مختلف این کار رو انجام بدید
@mmj.sys
@sinashahoveisi
سلام ، ارور خاصی نمیده و اصلا یه شکل عجیبی نشون میده توی curl بعد یه مدتم connection time out میده .
[1] 2007435
[2] 2007436
[3] 2007437
[4] 2007438
[5] 2007439
[6] 2007440
[7] 2007441
[8] 2007442
[9] 2007443
[10] 2007444
[11] 2007445
[12] 2007446
[13] 2007447
[14] 2007448
[15] 2007449
[16] 2007450
[17] 2007451
[2] Done Audited=true
[3] Done AuditorRef=-1
[4] Done Category=-1
[5] Done Childs=true
[6] Done CompanyState=-1
[7] Done CompanyType=-1
[8] Done Consolidatable=true
[9] Done IsNotAudited=false
[10] Done Length=-1
[11] Done LetterType=-1
[12] Done Mains=true
[13] Done NotAudited=true
[14] Done NotConsolidatable=true
[15] Done PageNumber=1
ولی تو لوکالم می زنم همون curl رو یه استرینگ json برمی گردونه مثل زیر
"Total":329,"Page":17,"Letters":[{
کد curl :
curl 'https://search.codal.ir/api/search/v2/q?&Audited=true&AuditorRef=-1&Category=-1&Childs=true&CompanyState=-1&CompanyType=-1&Consolidatable=true&IsNotAudited=false&Length=-1&LetterType=-1&Mains=true&NotAudited=true&NotConsolidatable=true&PageNumber=1&Publisher=false&TracingNo=-1&search=true'
آیا مایل به ارسال نوتیفیکیشن و اخبار از طرف راکت هستید ؟