Welcome to the Machine

В последнее время множество сайтов атакованы Java-ботами компании Google. В отличие от официальных спайдеров под именем Googlebot, эти боты ходят по сайту как им вздумается, не соблюдают правила из robots.txt и не регулируют баланс нагрузки на ресурсы, зачастую создавая им проблемы.

Никто точно не знает, что собой представляют эти программы, однако появление Java-ботов можно сравнить с приметой моряков “женщина на корабле”. Как правило, после интенсивной обработки ресурса таким ботом (или группой Java ботов), часть страниц по какой-то неведомой причине пропадает из индекса, либо же сайт теряет свои позиции в поисковой выдаче.

Создается впечатление, что гугл разрабатывает некое чистилище сайтов, а эти Java-боты – в некотором роде архангелы веба, взвешивающие и оценивающие все прегрешения конкретного сайта и его историю.

Вдумайтесь, какие емкие названия дали инженеры корпорации своим созданиям:

Java/1.3.1_03

Java/1.4.1_04

Java/1.5.0_06

Очевидно, что это не разные версии одной и той же программы, это разные боты, каждый из которых выполняют свою собственную функцию.

Логично предположить, что с некоторого времени каждый подозрительный сайт проходит в Google различные проверки, причем с помощью таинственных Java-ботов оцениваются различные параметры сайта, начиная от логической структуры и заканчивая расположением на контента и элементов навигации на страницах. Если эта гипотеза верна, то становится очевидно, что гугл ведет интенсивные исследования в области data mining, пытаясь определить, насколько честную игру ведет каждый сайт и каким образом продвигается в поисковой системе, так что в чистилище может попасть каждый.