crawl-delay:به یاری این فرمان مشخص و معلوم میکنیم ربات ها و خزنده ها با چه تعقل آموزش سئو کاربردی هنگامی دوباره پیوند های تارنما مارا ایندکس نمایند.
sitemap:قراردادن نشانی وبسایت مپ در فولدر Robots به ربات موتورهای جست و جو اذن ی دسترسی بی واسطه به نقشه ی وبسایت را می دهد.این فعالیت به ایندکس سریع خیس و خوب لینک و پیوند های وبسایت امداد میکند.
مثال ای از امرها فولدر Robots
به امداد فرمان ذیل میتوانید به کلیه ی روبات ها اذن ی دسترسی به کلیه ی بخش های وبسایت بدهید:
User-agent: *
Allow:/
این فرمان به هیچ روبات و خزنده ای اذن ی ورود به هیچ قسمتی از وب سایت را نمی دهد:
User-agent: *
Disallow: /
برای محصور کردن دسترسی به یک تیم یا این که پوشه معین از امر پایین به کار گیری نمایید:
Disallow: /category/
برای محصور کردن دسترسی روی یک برگه معین از تارنما از فرمان پایین به کار گیری فرمائید:
Disallow:blog/control-crawl-index-robots
استعمال از متا تگ Robots.txt
درصورتیکه شما می خواهید روبات های گوگل یه ورقه ی خاصی از سایت شمارا نبیند و در حاصل خویش ایندکس نکند میتوانید از متا تگ روباتس استعمال فرمائید. امروزه بخش اعظمی از پلاگین ها بعداز جدید ایندکس کردن ورقه این متا تگ را در هدر کاغذ قرار می دهند.
برای دوری از ورود کلیه ربات ها از امر پایین به کارگیری فرمایید:
برای محصور کردن روبات های گوگل از فرمان تحت به کارگیری نمائید:
معرفی روبات های گوگل
Googlebot desktop: این ربات به رسیدگی و ایندکس ورژن دسکتاپی وبسایت ها میپردازد.
Googlebot mobile: این ربات به پژوهش و ایندکس ورژن مویابلی وبسایت ها میپردازد.
Googlebot Video: این ربات به نظارت ویدئوهای جانور در اینترنت میپردازد.
Googlebot Images: این ربات به پایش تصاویر جان دار در اینترنت میپردازد.
Googlebot News: این ربات مختص وبسایت های خبری میباشد.
سوالهای رایج Robots.txt:
آیا گوگل به سایتی که robots.txt ندارد رمز میزند؟
آری روبات های گوگل به طور پیش فرض کلیه ی سایت ها را خزش و ایندکس میکنند مگر اینکه خویش وبسایت جلوی ورود روبات های گوگل را بسته باشد.
crawl-delay:به یاری این فرمان مشخص و معلوم میکنیم ربات ها و خزنده ها با چه تعقل آموزش سئو کاربردی هنگامی دوباره پیوند های تارنما مارا ایندکس نمایند.
sitemap:قراردادن نشانی وبسایت مپ در فولدر Robots به ربات موتورهای جست و جو اذن ی دسترسی بی واسطه به نقشه ی وبسایت را می دهد.این فعالیت به ایندکس سریع خیس و خوب لینک و پیوند های وبسایت امداد میکند.
مثال ای از امرها فولدر Robots
به امداد فرمان ذیل میتوانید به کلیه ی روبات ها اذن ی دسترسی به کلیه ی بخش های وبسایت بدهید:
User-agent: *
Allow:/
این فرمان به هیچ روبات و خزنده ای اذن ی ورود به هیچ قسمتی از وب سایت را نمی دهد:
User-agent: *
Disallow: /
برای محصور کردن دسترسی به یک تیم یا این که پوشه معین از امر پایین به کار گیری نمایید:
Disallow: /category/
برای محصور کردن دسترسی روی یک برگه معین از تارنما از فرمان پایین به کار گیری فرمائید:
Disallow:blog/control-crawl-index-robots
استعمال از متا تگ Robots.txt
درصورتیکه شما می خواهید روبات های گوگل یه ورقه ی خاصی از سایت شمارا نبیند و در حاصل خویش ایندکس نکند میتوانید از متا تگ روباتس استعمال فرمائید. امروزه بخش اعظمی از پلاگین ها بعداز جدید ایندکس کردن ورقه این متا تگ را در هدر کاغذ قرار می دهند.
برای دوری از ورود کلیه ربات ها از امر پایین به کارگیری فرمایید:
برای محصور کردن روبات های گوگل از فرمان تحت به کارگیری نمائید:
معرفی روبات های گوگل
Googlebot desktop: این ربات به رسیدگی و ایندکس ورژن دسکتاپی وبسایت ها میپردازد.
Googlebot mobile: این ربات به پژوهش و ایندکس ورژن مویابلی وبسایت ها میپردازد.
Googlebot Video: این ربات به نظارت ویدئوهای جانور در اینترنت میپردازد.
Googlebot Images: این ربات به پایش تصاویر جان دار در اینترنت میپردازد.
Googlebot News: این ربات مختص وبسایت های خبری میباشد.
سوالهای رایج Robots.txt:
آیا گوگل به سایتی که robots.txt ندارد رمز میزند؟
آری روبات های گوگل به طور پیش فرض کلیه ی سایت ها را خزش و ایندکس میکنند مگر اینکه خویش وبسایت جلوی ورود روبات های گوگل را بسته باشد.
مقایسه تفاوت سئو کلاهسفید و کلاه خاکستری