Welcome to the Machine

В последнее время множество сайтов атакованы Java-ботами компании Google. В отличие от официальных спайдеров под именем Googlebot, эти боты ходят по сайту как им вздумается, не соблюдают правила из robots.txt и не регулируют баланс нагрузки на ресурсы, зачастую создавая им проблемы.

Никто точно не знает, что собой представляют эти программы, однако появление Java-ботов можно сравнить с приметой моряков “женщина на корабле”. Как правило, после интенсивной обработки ресурса таким ботом (или группой Java ботов), часть страниц по какой-то неведомой причине пропадает из индекса, либо же сайт теряет свои позиции в поисковой выдаче.

Создается впечатление, что гугл разрабатывает некое чистилище сайтов, а эти Java-боты – в некотором роде архангелы веба, взвешивающие и оценивающие все прегрешения конкретного сайта и его историю.

Вдумайтесь, какие емкие названия дали инженеры корпорации своим созданиям:

Java/1.3.1_03

Java/1.4.1_04

Java/1.5.0_06

Очевидно, что это не разные версии одной и той же программы, это разные боты, каждый из которых выполняют свою собственную функцию.

Логично предположить, что с некоторого времени каждый подозрительный сайт проходит в Google различные проверки, причем с помощью таинственных Java-ботов оцениваются различные параметры сайта, начиная от логической структуры и заканчивая расположением на контента и элементов навигации на страницах. Если эта гипотеза верна, то становится очевидно, что гугл ведет интенсивные исследования в области data mining, пытаясь определить, насколько честную игру ведет каждый сайт и каким образом продвигается в поисковой системе, так что в чистилище может попасть каждый.

Гугл снова поражает гениальностью решений. На этот раз они выпустили персонализированный поисковый движок “под пользователя”, который можно использовать для создания собственного поискового механизма по группе нужных сайтов.

Событие на самом деле знаковое. Все крупные игроки давно поняли, что будущее поисковых технологий - в персонализации доступа к информации, но гугл делает все очень последовательно и правильно, покупая одну за другой социальные сети и нужные сервисы.

Рискну предположить, что потраченные ими деньги вернутся очень быстро, если учесть, что это поисковое решение предназначено не столько для обычных вебмастеров, сколько для социальных сетей, участники каждой из которых являются экспертами в какой-либо области.

Решение и на самом деле гениальное - создание тематических поисковых машин на технологии гугла с учетом выбора качественных сайтов экспертами не только повысит качество поиска, но и создаст новые великолепные таргетированные рекламные площадки, на которых стоимость рекламы будет на порядки выше, чем обычно. Рекламодатели будут стоять в очереди, чтобы получить действительно качественную аудиторию, которая уже есть у социальных сетей.

Надо же, в последнее время студенты на Форуме начали регулярно спрашивать тестовые данные для алгоритмов кластеризации и классификации данных. Вдвойне приятно, что это киевляне, так что хочется верить, что пройдет совсем немного времени, и Киев превратится в настоящий центр Information Retrieval. По крайней мере, уже начали этому учить.

Ну а с тестовыми данными проблем никаких нет - всегда есть под рукой свой маленький гугл, так что welcome всем желающим. Глядишь, может что и получится, как получилось когда-то у меня в Новотеке.

Да, что-то в последнее время на форумах забили тревогу оптимизаторы, окучивающие “вкусные темы” вроде mortgage loan. Дескать, клики подешевели, заработки упали.

Конечно, если сливать весь дорвейный трафик на adSense, то все рекламодатели по-быстрому сбегут, они ж денежки считают. И так в последнее время по более-менее дорогим темам все забито “посредниками”.

- Ты видишь сусликов?

- Нет.

- И я не вижу. А они есть!

(C) ДМБ

Эка гугла плющит, страницы сайта в индексе не показывает, а люди с него идут:

Your search - site:xxxxxxxx.com - did not match any documents.

Suggestions:

• Make sure all words are spelled correctly.
• Try different keywords.
• Try more general keywords.

1. Для сайтов

Чем хуже выглядит сайт, тем лучше на нем кликается реклама.

2. Для поисковиков

Чем хуже ищет поисковая система, тем лучше продается контекстная реклама.

Следствие: поисковая система с идеальной релевантной выдачей не заработает ни копейки.

Disclaimer: навеяно опытом.

Хитрят мудрецы. В последнее время Google дает больший PageRank внутренним страницам сайта, чем главной и подразделам, причем значительно. Похоже, что разрабатывают систему проверки качества контента, а внешние линки на внутренние страницы используют как важный фактор для зачистки спама.

Как-то исторически сложилось, что я очень критически отношусь к современным поисковикам, а Яндекс вообще стал идеологическим противником еще с 2001 года, когда мы поссорились. Да и любить особо не за что - с тех пор в их технологии ничего не поменялось, не считая мелких изменений выдачи и борьбы с дублями, спаммерами и оптимизаторами. В последнее время последних предпочитают забирать себе, чтобы сделать борьбу с их менее изобретательными коллегами еще более эффективной.

Конечно, горазде легче рубить денежку на фактографическом поиске, чем вкладывать реальные средства в развитие новых поисковых технологий. Хотя да, они же нынче назначили какие-то гранты - вы нам, значит, идеи, а мы их используем по назначению, уж будьте уверены.

Короче, не хочу я ни в Яндекс, ни в Гугл - неинтересно там. А вот стартапы - это раздолье.

А все-таки забавная вещь - поисковая оптимизация. Если ты все время, что называется, “в теме”, умеешь анализировать информацию и предугадывать будущее, можно создавать сайты на перспективу. Глядишь, если действительно “стрельнет” - все первые места твои.

Главное потом удержаться на плаву, когда остальные поймут, куда ветер дует.

Как это не парадоксально, но текстовая реклама сегодня значительно эффективнее графической. Люди давно привыкли к тому, что реклама в Сети обычно размещается в виде баннеров, поэтому графика воспринимается довольно неоднозначно. Особенно неэффективны стандартные некогда баннера формата 468х60, в которых люди мгновенно опознают рекламу и пропускают. Выход здесь только один - чем более нестандартно выглядят рекламные блоки, тем более непривычными они будут для пользователей, а значит и выше вероятность клика на них.

Парадокс заключается в том, что наиболее эффективна та реклама, при которой пользователь, не понимая, что ссылка была оплаченной, переходит на сайт рекламодателя и получает нужную информацию.