Arseny (arsart) wrote in ru_seo,
Arseny
arsart
ru_seo

Inktomi slurpy

По сайту ползает поисковый бот от поисковика Inktomi, и находит какие-то несусветные ссылки вызывая тем самым error 404 (ошибок скопилось уже свыше 5000)

Сначала он проверял структуру которой уже 1.5 года как нет, теперь просто составляет ссылки из существующих и плюсует к ним окончания из существующих картинок такого типа:themes/interlaced/misc/menu-collapsed.gif или privatemsg/reply/31 (это вообще внутренняя ссылка после авторизации только доступна)
Что мне в .htaccess прописать запрет на его скитания?
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 2 comments