Welcome to the Machine

В этой статье рассматриваются задачи, не решенные или плохо решенные в современных поисковиках.

1. Определение типов страниц (исследовательская задача)

Классификация страниц любых сайтов. С точки зрения поисковых потребностей нужно определять три типа страниц:
1) информационные (пользователь ищет какую-либо общую информацию, например, как починить автомобиль)
Идеальная выдача - страница с нужной информацией

2) навигационные (пользователь ищет адрес какой-либо сайт или каталог ресурсов на определенную тему).
Идеальная выдача - адрес сайта или страница тематического каталога

3) транзакционная (пользователь ищет конкретную информацию, скажем, характеристики конкретного товара)
Идеальная выдача - список страниц разных сайтов с карточкой товара.

Результат: позволит отдавать пользователю точно тот тип информации, который он ищет, скрыв все лишнее.

2. Мониторинг информации на группе выбранных сайтов (коммерческий проект)

Мониторинговая система, в которую можно внести список сайтов, за обновлением информации на которых необходимо следить. Робот периодично сканирует страницы каждого сайта и сообщает о появлении новых страниц/статей/новостей и т.д.
Здесь же можно применять фильтрацию по нужным ключевым словам, чтобы отсеять все лишнее.
Для удобства работы с группой сайтов можно разработать персональный кабинет с возможностью поиска по выбранным сайтам и хранением закладок на важные страницы.

3. Выделение полезной информации со страницы сайта (исследовательская задача)

Практически на каждой странице любого сайта есть лишняя информация, которая резко понижает качество поиска - меню, шаблоны, ленты новостей и т.д. Необходимо извлечь со страницы только полезную информацию, опустив все ненужные элементы.

Результат: позволит повысить релевантность поискового движка и уменьшить количество найденных страниц, которые совершенно бесполезны.

4. Определение “свежести” документов (исследовательская задача)

Современные универсальные поисковые системы не позволяют фильтровать по документам за определенный период, например, появившиеся за последний месяц. Это ведет к тому, что по большей части информация в выдаче может быть устаревшей, что не подходит для поиска в динамически изменяемой среде вроде новостных потоков или досок объявлений.
Необходимо разработать такой алгоритм, который бы определял степень “новизны” каждой страницы сайта.

Результат: возможность при поиске отсеивать все старые документы, которые уже устарели.

5. Определения стиля текста на странице (исследовательская задача)

Стиль текста может быть полезен в том случае, когда пользователь
осознает, что конкретно он ищет - научную статью, реферат, новость, объявление или же товар.

Определить стиль документа можно на основании статистического распределения глаголов в его тексте и классифицировать как:
- разговорный (чаты, форумы)
- официально-деловой (деловая документация)
- научный (диссертации, рефераты)
- художественный
- публицистический

Результат: возможность при поиске выбирать нужный стиль документа может сразу отсеять все нерелевантные страницы и сократить время поиска нужной информации.

6. Обновление поисковых индексов

Частота обхода сайтов является одной из важнейших для любой поисковой системы. Свежесть документов в индексах напрямую влияет на качество поиска, поэтому необходимо разработать алгоритм, который будет учитывать скорость обновляемости сайта и выстраивать стратегию их обхода таким образом, чтобы максимально снизить затраты на выкачку тех страниц, которые не обновились и уже присутствуют в поисковом индексе.

Результат: только свежие документы в поисковой выдаче.