thevil
3 سال پیش توسط thevil مطرح شد
4 پاسخ

دور زدن بلک لیست IP

سلام ،‌من یه scrapper برای دریافت اطلاعات از یک وبسایت داخل ایران که فقط از طریق داخل کشور قابل دسترسی هستش نوشتم و به درستی کار می کنه داخل لوکالم و کار می کرد روی سرور ولی بعد یه مدت متوجه شدم که ریکوست ها پاسخی براشون دریافت نمیشه توی سرور که حدس می زنم ip سرور بلاک شده ،‌ با تغیر user agent هم تغیری در نتیجه رخ نمیده ،‌راهی برای دور زدن این بلک لیست هستش ؟
یکی از راهایی که تو اینترنت پیدا کردم استفاده از یه لیست پروکسی ولی پروکسی های داخل ایران هیچکدوم کار نمی کردن اونایی که تو سطح اینترنت هستند (‌چه سایت های فارسی چه انگلیسی )‌،‌راهی هست که بتونم مثلا یه تعداد ای پی داخل سرور ایجاد کنم ؟‌

  • از سرور لینوکس ubuntu استفاده می کنم

ثبت پرسش جدید
mmj-sys
تخصص : داش متخصص چیه من پروفسورم .
@mmj.sys 3 سال پیش مطرح شد
0

کد رسپانس چیه ؟
اگر بلاک کرده باشه یا باید تعداد ریکوست رو کم کنید یا وی پی ا ن داخلی وصل شید .
چون میگید فقط از ایران در دسترسه نمیشه از تور استفاده کنید .
همین دوراه بالا رو دارید. شایدم مشکل از اون نباشه . بازم ارور رو چک کنید


سینا شاه‌اویسی
تخصص : برنامه نویس فرانت اند
@sinashahoveisi 3 سال پیش مطرح شد
0

سلام
از تور استفاده کنید سعی کنید بعد از یک مدت با استفاده از proxy یک IP جدید برای خودتون ست کنید. یا اینکه تعداد ریکوئست ها رو در دقیقه کم کنید و با چندین سرور یا IP مختلف این کار رو انجام بدید


thevil
تخصص : برنامه نویس خسته
@thevilgh 3 سال پیش مطرح شد
0

@mmj.sys
@sinashahoveisi
سلام ، ارور خاصی نمیده و اصلا یه شکل عجیبی نشون میده توی curl بعد یه مدتم connection time out میده .

[1] 2007435
[2] 2007436
[3] 2007437
[4] 2007438
[5] 2007439
[6] 2007440
[7] 2007441
[8] 2007442
[9] 2007443
[10] 2007444
[11] 2007445
[12] 2007446
[13] 2007447
[14] 2007448
[15] 2007449
[16] 2007450
[17] 2007451
[2]   Done                    Audited=true
[3]   Done                    AuditorRef=-1
[4]   Done                    Category=-1
[5]   Done                    Childs=true
[6]   Done                    CompanyState=-1
[7]   Done                    CompanyType=-1
[8]   Done                    Consolidatable=true
[9]   Done                    IsNotAudited=false
[10]   Done                    Length=-1
[11]   Done                    LetterType=-1
[12]   Done                    Mains=true
[13]   Done                    NotAudited=true
[14]   Done                    NotConsolidatable=true
[15]   Done                    PageNumber=1

ولی تو لوکالم می زنم همون curl رو یه استرینگ json برمی گردونه مثل زیر

"Total":329,"Page":17,"Letters":[{

کد curl :

curl 'https://search.codal.ir/api/search/v2/q?&Audited=true&AuditorRef=-1&Category=-1&Childs=true&CompanyState=-1&CompanyType=-1&Consolidatable=true&IsNotAudited=false&Length=-1&LetterType=-1&Mains=true&NotAudited=true&NotConsolidatable=true&PageNumber=1&Publisher=false&TracingNo=-1&search=true'

mmj-sys
تخصص : داش متخصص چیه من پروفسورم .
@mmj.sys 3 سال پیش مطرح شد
-1

خب اصولا برنامه ای که مشکل داره باید لاگ کنه
برنامه رو با قابلیت خطا یابی باید بنویسین


برای ارسال پاسخ لازم است وارد شده یا ثبت‌نام کنید

ورود یا ثبت‌نام