time2be1 (time2be1) wrote in ru_seo,
time2be1
time2be1
ru_seo

  • Music:

check robots.txt

Подскажите пожалуйста правильный ли robots.txt под катом, задача которого послать нах ботов Yahoo, msn, excite, all-the-web, altavista, alexa. Короче чтобы не индексировали эти буржуйские поисковики мой сайт ?

User-agent: MSNbot

Disallow: /



User-agent: Ask Jeeves/Teoma

Disallow: /



User-agent: Slurp

Disallow: /



User-agent: Yahoo Slurp

Disallow: /



User-agent: FAST-WebCrawler

Disallow: /



User-agent: crawler@fast

Disallow: /



User-agent: Scooter

Disallow: /



User-agent: ia_archiver

Disallow: /
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 4 comments