Welcome to the Machine

Поиск любой информации можно существенно упростить, представив себе образ страницы с нужной информацией.

Существуют общепринятые правила, которым подчиняются практически все страницы, которые лежат в Сети. Основное и главное правило, которое нужно всегда помнить, заключается в том, что на хорошо сделанном сайте заголовок каждой страницы кратко, но очень точно характеризует ее содержание.

Приведу маленький пример из жизни: очень быстро нужно найти определенную книгу в электронном виде. Конечно, просто задать в строке поиска фамилию автора и вбить название. В конце концов, на какой-то из страниц поисковой системы эта книга, возможно, и отыщется, но так вы рискуете потратить уйму времени на перелистывание и просмотр абсолютно бесполезных страниц. Там будут попадаться магазины, где книгу можно купить, какие-то обзоры и т.д., но текст книги сходу можно и не обнаружить.

Но теперь мы знаем, что название книги и автор, скорее всего, будет именно в заголовке, поэтому будем использовать специальный оператор, который заставляет поисковик искать только по текстам заголовков. Например, для Google этот оператор выглядит как allintitle:, для Яндекса - $title().

Пример.
Нужно найти текст книги Ричарда Баха “Чайка по имени Джонатан”.
Запросы:
Google: allintitle: Ричард Бах “Чайка по имени Джонатан” - первая ссылка
Яндекс: $title(Ричард Бах “Чайка по имени Джонатан”) - первая ссылка.

Все очень просто, если знаешь принцип.

В последнее время что-то много людей, работающих в области поисковых технологий, меняет работу. Недавно Алекс Москалюк перешел из Yahoo в Facebook, Денни Салливан ушел из SearchEnginesWatch, да и других непонятная текучка. А Яндекс вон только укрупняется, сколько вакансий повывешивал.

Я вот тоже чуть было не уехал поработать в Ask Jeeves над новостным проектом типа Новотеки, с кластеризацией и прочими наворотами. Оно-то как бы и ничего, офис в Италии, в 50 км от Флоренции (в Пизе), да и условия неплохие.

Но вот как-то не мое это, русскоговорящих людей там нет (в основном почему-то китайцы), да и домой обычно тянет… Хотя руководитель итальянского отделения Ask Jeeves Антонио Джулли (Antonio Gulli) человек известный и интересный, и пообщаться с ним было приятно.

А вообще область ощущает небывалую нехватку классных специалистов, что, впрочем, и не удивительно - у нас их не готовят, а обучение западных стоит очень дорого.

Опубликовал свое представление о хорошей интернет-рекламе. Мои паблишеры стараются соблюдать эти простые правила, хорошо понимая, что все это деньги.

Иногда можно увеличить доход сайта в несколько раз, просто изменив цвет adSense либо поменяв расположение блоков на странице.

На сегодняшний день в сети Интернет хранится множество экспертных оценок и мнений, которые, как правило, появляются на форумах и обсуждениях в виде ответов на вопросы пользователей. К сожалению, поисковые машины сейчас очень далеки от того, чтобы извлекать знания прямо из html-страниц, а знаний на самом деле за время существования сети собрано огромное количество.

Однако выход есть, причем достаточно простой и удобный - с помощью операторов поисковой системы можно самому отбирать источники, на которых есть ответы интересующие вас вопросы. Ну и, естественно, правильно составлять запросы.

Приведу конкретный пример. У моего лупатого Форда Скорпио треснул впускной коллектор, поэтому нужно определиться, менять его или попытаться восстанавливать.

Ответ на этот вопрос легко можно получить с помощью Google, воспользовавшись оператором inurl. Все дело в том, что обычно владельцы сайтов предпочитают устанавливать бесплатный софт для форумов, поэтому их можно быстро найти по текстам ссылок, добавив к запросу часть inurl: (forum|thread|discussion|faq|printthread|boards|wwwboards).

В моем случае нужно найти вопросы людей, которые уже сталкивались с подобной проблемой, поэтому запрос выглядит так:

(scorpio|скорпион) впускной коллектор треснул (глазастый|лупатый) inurl: (forum|thread|discussion|faq|printthread|boards|wwwboards)

Это запрос отфильтровывает всю лишнюю информацию, и первая же ссылка дает мне ответ на мой вопрос.

Явление, окрещенное веб-мастерами как песочница Google (Google Sandbox), появилось достаточно давно, и с завидной регулярностью продолжает пугать веб-мастеров всего мира.

Считается, что в песочницу попадает около 90% новых сайтов, а выйти из нее в основной поиск очень непросто.

Природа попадания сайтов в песок не очень понятна – по какой-то причине гугл считает, что новый сайт не может иметь качественный контент и быть полезным для пользователя, пока этот сайт не просуществует определенное время (иногда исчисляющееся годами) и не наберет вес, поэтому Google накладывает на него фильтр, понижающий позиции сайта в поисковой выдаче.

С одной стороны, это решение выглядит логичным – Google пытается защититься от сайтов-однодневок, которые пытаются заработать на его поисковом трафике, однако для только что открытых сайтов с оригинальным контентом быстрый выход из песочницы выглядит достаточно непростым и требует постоянной и кропотливой работы. Пока сайт не наберет достаточное количество и вес внешних ссылок, трафика из гугла на нем не будет.

Обычно для выхода сайта из песка опытные оптимизаторы советуют ставить на него ссылки с большим PageRank‘ом, однако помогает далеко не всегда. Более того, два сайта одной и той же тематики, похожие по структуре, но различные по контенту, запущенные в один и тот же день, выходят из песочницы в разное время. Этот феномен можно было бы объяснить цикличностью обновления поискового индекса и различным весом внешних ссылок, однако создается впечатление, что в алгоритм выхода сайта из песочницы сознательно внесен элемент случайности.

Не надо забывать и о переоптимизации - если веб-мастер начинает упорствовать и ставить множество внешних ссылок для выхода в основной поиск, Google может еще более усугубить ситуацию и зарыть сайт еще глубже. Далеко не у каждого человека хватить терпения ждать выход сайта из песка в течение нескольких лет и при этом планомерно им заниматься, поэтому переоптимизация также нежелательна, как и попытка пустить все на самотек.

Совсем недавно появилась информация о новом фильтре Google The Minus Thirty Penalty, понижающем позиции сайтов на 30 пунктов, однако представители поисковой системы пока никак не подтверждают этот факт, хотя в качестве замены Sandbox эта мера выглядела бы логичной.

Артем Шкондин в своем отзыве про социальный поиск Google натолкнул меня на любопытную мысль. Давно известно, что у крупнейших медийных компаний есть заготовки статей, которые публикуются, как только умирает кто-либо из известных людей. Однажды такая новость даже ошибочно попала на сайт, по-моему, CNN, после чего разразился огромный скандал.

Так вот, применимо к медийному бизнесу о событиях нужно не только рассказывать, но и предвидеть. В общем-то, для толкового аналитика предсказание развития событий задача не очень сложная, но вот результат может превзойти все ожидания.

По сути, это похоже на джекпот в казино. Если предсказать(угадать) событие, можно срывать трафик неограниченного объема по любой теме.

Взять, например, спорт. Совсем недавно был важнейший матч в Чемпионате Англии, встречались Манчестер и Челси. Результатов противостояния может быть всего 3 - победа первой или второй команды, и ничья. Проанализировав стабильность выступления команд и статистику встреч между собой, можно предсказать результат (ничью) и опубликовать соответствующую новость.

Изюминка заключается в том, что если эту новость разместить на сайте на неделю раньше самого матча, то пока подойдут новостные издания, пишушие по факту, страница с предсказанной новостью прочно станет первой в поисковой выдаче. После матча можно дополнить статью отчетом, фотографиями и статистикой, и спокойно почивать на лаврах первоисточника.

Прогнозирующая поисковая оптимизация - вещь кропотливая и очень тонкая, но результаты может принести колоссальные.

P.S. Перепечатка разрешена только при ссылке на Google Chance.

И все-таки Google просто гениален! Это же надо задать оптимизаторам такую головоломку!

В своем эксперименте с Литвиненко я предполагал, что выдача изменится через день-два, когда сообщения по теме начнут угасать, и оказался совершенно прав. Но вот то, что показывает Google сейчас, повергло меня в состояние крайней озадаченности - такого даже я не ожидал.

Для того, чтобы понять, что же произошло, нужно просто посмотреть на выдачу:

Итак, выдача совершенно другая - это подтверждает мою гипотезу социального поиска. Но вот она, неожиданность, - сейчас в результатах поиска одни форумы. Теперь, после того, как СМИ все написали, а блоггеры сказали, мы видим еще и групповую точку зрения. Да, отличный материальчик для моего Google Chance. Браво, Google!

Поисковая выдача гугла складывается из нескольких различных параметров, среди которых можно выделить следующие:

1) контентная масса сайта - ранжирование зависит только от плотности ключевых слов на страницах сайта. Обычно гугл хорошо относится к сайтам с оригинальным контентом, однако злоупотреблять частотами нужных слов не следует. Получить представление о количестве несклееных документов можно, пролистав их постранично в поисковой выдаче с командой site:. Как правило, на сайтах с хорошим оригинальным контентом склеенных страниц мало, и гугл показывает их все вплоть до 100-й страницы.

2) Вес внутренних страниц влияет на то, какая страница сайта будет показана в поисковой выдаче. Кроме того, этот вес влияет и на общий PageRank сайта.

Как я уже писал, Google выводит социальные результаты поиска только для top-событий, вызвавших широкое обсуждение в прессе и блогах. Хотите еще доказательств? Вот они.

Совсем недавно много шума наделало заявление Джима Олчина из Microsoft о том, что для новой операционной системы Windows Vista не нужен никакой антивирус, настолько эта система безопасна.

Тема эта активно обсуждалась и в блогах, и в СМИ, поэтому вполне подойдет.

Итак, внимание на экран:

Поисковая выдача, очевидно, состоит не только из новостных сайтов, но и из блогов. Тот же запрос в Google News показывает, что отсюда был выведен первый сайт arstechnica.com:

Следующие за ним сайты взяты тоже из Google News и как раз выводились здесь несколько дней назад, однако теперь выдача изменилась.

Запрос в Google Blog Search дает следующие результаты:

Вот оно! Сайты digg.com, biz-tech.net, infopackets.com попали в основную выдачу как раз через поиск по блогам. Более того, два дня назад на 10-м месте основного поиска находился сайт , занимающий здесь первое место (hostit1.connectria.com), однако сегодня его по какой-то причине убрали, возможно, из-за недостатка авторитета.
Думаю, что ошибка или случайность здесь полностью исключена, так как совпадают не только сайты, но и страницы, на которые выведены ссылки в основном поиске, так что выводы делайте сами.

P.S. Перепечатка разрешается только при указании источника: Google Chance: поисковая оптимизация и продвижение сайтов.

Итак, примеры социального поиска. Как я уже говорил, алгоритм работает только с top-новостями, которые получили широкий резонанс в СМИ и вызвали множество обсуждений в блогах.

Как показывает Google News, сегодня наиболее обсуждаемое событие - это смерть в Лондоне бывшего российского шпиона Александа Литвиненко. Следует отметить, что событие произошло совсем недавно, поэтому типичный рабочий индекс не должен показывать какие-либо релевантные результаты.

Итак, вот что знает об этом Google - запрос “litvinenko killed“:

Очевидно, что первые две позиции занимают блоги, причем посты очень свежие. Тот же запрос в поиске по блогам дает следующую картинку:

Совершенно очевидно, что из документов в первой тройке основной выдачи два первых (pajamasmedia.com/2006/11/litvinenko_killed_by_plutonium.php и polizeros.com/2006/11/24/litvinenko-killed-by-high-dose-of-radiation/) совпадают с результатами Google Blogsearch и выведены в основном поиске наложением из поиска по блогам. Самое интересное, что пока я подбирал запросы, выдача поменялась прямо на глазах - перед этим там был только один (первый) пост из блога.

Идем дальше. Позиции начиная с 3-й занимают новости. Поиск по новостям дает следующий расклад:

Итак, Google собрал кластер из 3,254 новостей по этому событию, из которых по какому-то принципу, возможно, по авторитетности изданий, вывел несколько в основной выдаче. И точно, сразу бросается в глаза статья из mirror.co.uk (EX-SPY LITVINENKO KILLED BY RADIACTIVE POISON Mirror.co.uk), которая есть в top Google News и поэтому попала в основную выдачу:

Очевидно, что остальные ссылки в основном индексе тоже выведены из Google News и входят в собранный кластер, который показан в Google News.

Есть еще ряд примеров применения гуглом нового алгоритма, однако этот показался мне наиболее ярким. К тому же, поразила быстрота, с которой поисковик отреагировал на новое событие, сориентировался и вывел релевантные документы по связанному с этим событием запросу. Я не исключаю ситуации, что по прочтении этой статью уже через несколько часов после публикации выдача может быть совершенно другой.

P.S. Если вы захотите разместить результаты этого эксперимента на своем сайте, то ссылка на Google Chance обязательна.