robots.txt
سلام دوستان
یه مفهموی برام مبهمه ممنون میشم این ابهامو برام رفع کنید.
من توی فایل robots.txt میخام گووگل به ی کسری از صفحاتم دسترسی نداشته باشه ، پوشه ای ک من میخام بش دسترسی نداشته باشه توی view>cart هست، و url سبد خرید من به این شکله:domain.com/cart الان سوال من اینه که ایا باید تو فایل robots.txt ادرس url (domain.com/cart) رو بنویسم یا ادرس فایلم رو (view>cart ).مچکرم
پاسخها
5
URL رو میزارید دوست من اما لازم نیست دامنه رو بهش بدید همون / اشاره به روت اصلی میکنه و در ادامه URL هارو بهش میدید
سلام
آدرس url رو مینویسید
/ روت اصلی هست و بقیه ...
User-Agent: *
Allow: /
Disallow: /cart با User-agent و * جلوش این عمل روی همه ربات ها اعمال میشه و اگر فقط میخواین برای گوگل باشه:
User-Agent: Googlebot
Disallow: /cart لیست کامل User-Agent
*
Googlebot
Googlebot-Image
MSNBot
Slurp
Lycos
Seekbot
Sistrix
SearchmetricsBot
BacklinkCrawler
SEOkicks-Robot
xovi 
سلام
در تکمیل توضیحات کامل دوستمون @mehdi.shahabbasian بهتره علاوه بر robot.txt در search console نیز exclude کنید چون گوگل در اینگونه موارد warning در قسمت coverage سرچ کنسول نشون میده.
@hamzehhemmati0
گفتگوهای مرتبط
شاید پاسخ شما همینجا باشد
@mehdi.shahabbasian دوست عزیز بنده این مورد cart/ رو انجام دادم ولی باز ایندکس شده و توی نتایج نشون میده سوال من اینه باید url رو بزاریم تو فایل robots.txt یا پوشه بندی رو؟
@mehdi.shahabbasian ممنونم از شما