9.3.3. Новые поисковые технологии

Автоматическая каталогизация. Для поисковых каталогов вопрос несоответствии между размерами исследованного и неисследованного Web-пространства стоит особенно остро. Перспективные направления развития основаны на внедрении так называемых SMART-технологий автоматической каталогизации.

Существует множество теоретических изысканий в области SMART технологий но наиболее перспективной является модель векторного информационного пространства. Представим себе эксперта в какой-то области, например в физике. ему поставить задачу, то, наверное, он сможет составить словари, характерные для таких областей, как Механика, Термодинамика, Оптика и т. п. Проанализировав множество документов, относящихся к этим научным областям, он сможет не тс указать характерные термины и понятия, но и дать им весовые оценки. Так, например, достаточно очевидно, что слово «перемещение» имеет больший вес в механике чем в термодинамике. Комбинируя термины и весовые коэффициенты, можно строить многомерные системы координат, в которых различные области знания описывались бы разными многомерными векторами.

Автоматически получив новую Web- страницу, поисковая система может построить для нее математический вектор, основанный на формальном анализе содержания. Сравнивая этот вектор с уже рассчитанными векторами для различных областей знания, система может без участия человека предположить, к какой категории, теме и разделу относится тот или иной документ.

При таком подходе не обязательно хранить копии всех известных Web страниц, как не надо хранить и их поисковые указатели. Вполне достаточно для каждого Web-документа хранить лишь его URL-адрес и число, соответствующее вектору. В настоящее время конкретные алгоритмы SMART-технологий не публикуются, но можно предположить, что они уже работают, например в поисковых системах реального времени.

Поисковые системы реального времени. Это новое направление в технологиях поиска. Для работы с такой службой пользователь должен подключиться к ее центральному серверу, получить оттуда и установить на своем компьютере клиентскую программу. Эта программа подключается к браузеру и работает как дополнительная панель.

При каждом запуске браузера клиентская программа устанавливает соединение со своим центральным сервером и далее работает с ним в паре. Она передает серверу копии всех Web-страниц, которые посещает пользователь, то есть выполняет те же функции, что и автоматический червь, копирующий Web-ресурсы на сервер традиционной поисковой системы. Однако при этом есть два существенных различия:

• во-первых, человек в ходе навигации в WWW руководствуется не теми принципами, что автоматическая программа, поэтому сервер получает копии не всех Web-ресурсов, а только тех, что заинтересовали кого-то из его клиентов;

• во-вторых, если поставкой Web-ресурсов занимаются несколько миллионов постоянных клиентов, индексация Web - пространства происходит намного быстрее.

В свою очередь, пользователь тоже имеет важное преимущество. На какой бы Web-странице он ни находился, система всегда готова предложить ему список других Web-страниц, имеющих близкое по тематике содержание. Она готовит этот список на основании предшествующего опыта, полученного в работе с другими людьми. Так можно получить рекомендации, которые было бы очень трудно (а зачастую и невозможно) разыскать в WWW традиционными поисковыми средствами.