حل شده
robotstxt چیست
ثبت پرسش جدید
پاسخها
3بهترین پاسخ
سلام وقت بخیر
این فایل مربوط به سئو وب سایت شما میشه و شما میتونی با این فایل به ربات های گوگل و کرولرها بگی چکاری انجام بدن
چه صفحاتی میخوای ایندکس بشن و تو گوگل نشون داده بشن و چه صفحاتی نمیخواد
مثلا به عنوان مثال نمیخوای دایرکتوری ادمین توسط ربات های گوگل ایندکس بشه آدرس و اسم دایرکتوری رو اونجا میذاری
@dfardabasi
خیلی ممنون
فایل robots.txt یک فایل متنیه که در ریشهی دامنه وبسایت قرار میگیره و توسط وبمسترها برای کنترل رفتار رباتهای جستجوگر استفاده می شه. این فایل به رباتهای جستجوی گوگل و سایر موتورهای جستجو اطلاعاتی میده که آیا باید یک صفحه خاص از وبسایت در نتایج جستجو نمایش داده بشه یا نه.
گفتگوهای مرتبط
شاید پاسخ شما همینجا باشد