October 18th, 2004

arsart
  • arsart

Inktomi slurpy

По сайту ползает поисковый бот от поисковика Inktomi, и находит какие-то несусветные ссылки вызывая тем самым error 404 (ошибок скопилось уже свыше 5000)

Сначала он проверял структуру которой уже 1.5 года как нет, теперь просто составляет ссылки из существующих и плюсует к ним окончания из существующих картинок такого типа:themes/interlaced/misc/menu-collapsed.gif или privatemsg/reply/31 (это вообще внутренняя ссылка после авторизации только доступна)
Что мне в .htaccess прописать запрет на его скитания?