Welcome to the Machine

Уже не первый раз сталкиваюсь с тем, что для непосвященных людей поисковая оптимизация - это нечто вроде шаманства, а оптимизатор считается и хакером, и колдуном одновременно.

И каково же их удивление, когда они узнают, что оптимизаторы на самом деле не владеют никаким особым секретом, а все делают, следуя лишь общим принципам, установленным поисковиками.

Поисковик - настолько “черный” ящик, что гарантировать что-либо здесь бессмысленно, а каждое новое изменение алгоритма может как поднять сайт до невиданных высот, так и надолго скрыть от глаз пытливого пользователя.

Однако, если отбросить все технические приемы продвижения сайтов и способы борьбы с ними, открывается очень понятная и доступная картина. Оптимизация - это всего лишь способ свести поисковый спрос и поисковое предложение в одной точке, когда и пользователь, и владелец ресурса получают максимальную выгоду от посещения сайта, и оба довольны тем, что оказались друг другу полезны.

Без этого симбиоза Интернет не стал бы той социальной средой, какой мы находим его сегодня, а выглядел бы вроде библиотеки старинных папирусов, которые вроде как есть, но совершенно бесполезны.

Вы спросите почему? Да потому что в большинстве случаев так не пишут, как ищут! Как правило, поисковый запрос представляет собой некий набор слов, часто спонтанно пришедший в голову, а текст, в котором есть ответ на этот запрос, подчиняется опреденным правилам и законам, в которых нет места ассоциациям. Между прочим, “оптимизированные” по таким запросам тексты нельзя читать - они просто из другого измерения, поэтому задача действительно хорошего оптимизатора как раз найти ту самую “золотую середину”.

В последнее время множество сайтов атакованы Java-ботами компании Google. В отличие от официальных спайдеров под именем Googlebot, эти боты ходят по сайту как им вздумается, не соблюдают правила из robots.txt и не регулируют баланс нагрузки на ресурсы, зачастую создавая им проблемы.

Никто точно не знает, что собой представляют эти программы, однако появление Java-ботов можно сравнить с приметой моряков “женщина на корабле”. Как правило, после интенсивной обработки ресурса таким ботом (или группой Java ботов), часть страниц по какой-то неведомой причине пропадает из индекса, либо же сайт теряет свои позиции в поисковой выдаче.

Создается впечатление, что гугл разрабатывает некое чистилище сайтов, а эти Java-боты – в некотором роде архангелы веба, взвешивающие и оценивающие все прегрешения конкретного сайта и его историю.

Вдумайтесь, какие емкие названия дали инженеры корпорации своим созданиям:

Java/1.3.1_03

Java/1.4.1_04

Java/1.5.0_06

Очевидно, что это не разные версии одной и той же программы, это разные боты, каждый из которых выполняют свою собственную функцию.

Логично предположить, что с некоторого времени каждый подозрительный сайт проходит в Google различные проверки, причем с помощью таинственных Java-ботов оцениваются различные параметры сайта, начиная от логической структуры и заканчивая расположением на контента и элементов навигации на страницах. Если эта гипотеза верна, то становится очевидно, что гугл ведет интенсивные исследования в области data mining, пытаясь определить, насколько честную игру ведет каждый сайт и каким образом продвигается в поисковой системе, так что в чистилище может попасть каждый.

Как-то исторически сложилось, что я очень критически отношусь к современным поисковикам, а Яндекс вообще стал идеологическим противником еще с 2001 года, когда мы поссорились. Да и любить особо не за что - с тех пор в их технологии ничего не поменялось, не считая мелких изменений выдачи и борьбы с дублями, спаммерами и оптимизаторами. В последнее время последних предпочитают забирать себе, чтобы сделать борьбу с их менее изобретательными коллегами еще более эффективной.

Конечно, горазде легче рубить денежку на фактографическом поиске, чем вкладывать реальные средства в развитие новых поисковых технологий. Хотя да, они же нынче назначили какие-то гранты - вы нам, значит, идеи, а мы их используем по назначению, уж будьте уверены.

Короче, не хочу я ни в Яндекс, ни в Гугл - неинтересно там. А вот стартапы - это раздолье.