robots.txt
سلام دوستان
یه مفهموی برام مبهمه ممنون میشم این ابهامو برام رفع کنید.
من توی فایل robots.txt میخام گووگل به ی کسری از صفحاتم دسترسی نداشته باشه ، پوشه ای ک من میخام بش دسترسی نداشته باشه توی view>cart هست، و url سبد خرید من به این شکله:domain.com/cart الان سوال من اینه که ایا باید تو فایل robots.txt ادرس url (domain.com/cart) رو بنویسم یا ادرس فایلم رو (view>cart ).مچکرم
گزینش سوالات
گفت و گو های مرتبط
دسته بندی سوالات
تگ‌های محبوب
URL رو میزارید دوست من اما لازم نیست دامنه رو بهش بدید همون / اشاره به روت اصلی میکنه و در ادامه URL هارو بهش میدید
سلام
آدرس url رو مینویسید
/ روت اصلی هست و بقیه ...
User-Agent: *
Allow: /
Disallow: /cart با User-agent و * جلوش این عمل روی همه ربات ها اعمال میشه و اگر فقط میخواین برای گوگل باشه:
User-Agent: Googlebot
Disallow: /cart لیست کامل User-Agent
*
Googlebot
Googlebot-Image
MSNBot
Slurp
Lycos
Seekbot
Sistrix
SearchmetricsBot
BacklinkCrawler
SEOkicks-Robot
xovi 
سلام
در تکمیل توضیحات کامل دوستمون @mehdi.shahabbasian بهتره علاوه بر robot.txt در search console نیز exclude کنید چون گوگل در اینگونه موارد warning در قسمت coverage سرچ کنسول نشون میده.
@hamzehhemmati0
@mehdi.shahabbasian دوست عزیز بنده این مورد cart/ رو انجام دادم ولی باز ایندکس شده و توی نتایج نشون میده سوال من اینه باید url رو بزاریم تو فایل robots.txt یا پوشه بندی رو؟
URL رو میزارید دوست من اما لازم نیست دامنه رو بهش بدید همون / اشاره به روت اصلی میکنه و در ادامه URL هارو بهش میدید