فایل robotxt در لاراول
سلام دوستان . یه سوال کوتاه در مورد فایل robotxt دارم. وقتی می خوام این فایل بنویسم داخل فایل اسم پوشه که می خوام ربات دسترسی نداشته باشه باید قرار بدم یا ادرس url ؟
ثبت پرسش جدید
پاسخها
3
درود...
پیوند زیر:
https://www.robotstxt.org/robotstxt.html
سلام
@rezajamalzadeh900
توی فایل robots.txt شما بایستی دایرکتوری های هم جوار با با فایل robots.txt رو ، به ربات گوگل نشون بدید و بگید که میخوایید crawl کنه یا نه!
گفتگوهای مرتبط
شاید پاسخ شما همینجا باشد
داخلش دستورات زیر رو قرار بدید
User-agent: *
Disallow: /