January 23rd, 2013

spb
  • debug

как правильно банить гугль и яху :)

Доброго дня.
Я не то чтобы сеошник, вообще совсем даже не сеошник :) Но вот тут вопрос возник по этой теме. Если что не так, извиняйте, сильно вопросом не владею.
Итак, есть некий веб-сайт. Делаю на нём систему борьбы с ботами, простенькую защиту от dos, и т.д. Смысл системы в том, что при обнаружении например N коннектов из одной подсети, эта подсетка банится на минуту. Если это повторяется несколько раз, следует бан на полчаса.
Гугль и яху естественно кравлят сайт, хочется чтобы у них это получалось. Но делать исключение в системе банов для них не хочется, т.к. были прецеденты, что у него крышу срывало и он начинал кравлить слишком интенсивно.
Вопрос в чём - если некоторые подсети гугля или яху будут периодически баниться и иметь кратковременные проблемы с доступом к сайту, к чему это может привести? "Поймут" ли они, что это намёк на то, что надо умерить активность? Или это может привести к каким-то проблемам с тем, что сайт будет плохо проиндексирован и пострадает его позиция в поиске?
Как можно оценить то, насколько успешно сайт кравлится? На что обращать внимание в webmaster tools например, чтобы не допустить серьёзных проблем с этим? В гугле crawl rate выставлен достаточно низко, в среднем активность от них приемлемая. Но я так понимаю что этот crawl rate - это не гарантированно максимальные темпы кравлинга, а некая средняя величина, которая может варьироваться.