3.6. Деревья оптимального поиска
В той же работе Вирта [3] рассматриваются и деревья оптимального поиска. Рассматривая выше поиск по таблице, мы исходили из предположения, что частота обращения ко всем элементам таблицы одинакова, т.е. все ключи с равной вероятностью фигурируют как аргументы поиска. Однако встречаются ситуации, когда есть информация о вероятности обращения к отдельным элементам таблицы. Обычно для таких ситуаций характерно “постоянство” элементов, то есть в дерево поиска элементы не включаются и не исключаются из него. Типичный пример – как раз сканер транслятора, определяющий, не относится ли идентификатор к классу терминалов (ключевых или зарезервированных слов). Статистические измерения на сотнях транслируемых программ могут в этом случае дать точную картину об относительных частотах появления отдельных элементов (обращений к ним). Для этих деревьев вместо понятия средней длины пути по дереву вводится понятие взвешенной длины пути – суммы всех путей от корня каждой из вершин, умноженных на вероятность обращения к этим вершинам.
В качестве примера рассмотрим множество из трех ключей 1, 2, 3 с вероятностями обращения к ним P1=1/7; P2=2/7; P3=4/7. Эти три ключа можно расставить в дерево поиска пятью различными способами, представленными на рис. 3.7. Там же приведены и взвешенные длины пути для каждого дерева.
Таким образом, оптимальным оказывается не идеально сбалансированное дерево (3.7 в), а вырожденное (3.7 а).
Сканер транслятора, предполагает, что задачу следует ставить при несколько больших общих условиях: слова встречающиеся в тексте не всегда ключевые, на самом деле эта ситуация скорее исключение, чем правило. Обнаружение, что данный ключ не является ключом дерева поиска, можно считать обращением к некоторой гипотетической вершине, включенной между следующей большей и следующей меньшой вершиной. Теория этого вопроса довольно сложна и не является задачей нашего курса. Отметим только, что оптимальное дерево поиска ключевых слов большинства языков программирования весьма далеко от сбалансированного.
3.7. ХЕШ – АДРЕСАЦИЯ
Здесь и далее используются термины “хеш–адресация”, “хеширование”, ”хеш–функция” и т.п., происходящих от английского слова hash, что в дословном переводе означает мешанина, путаница. Представляется разумным обходится одним корнем для всей совокупности терминов, связанных с данным кругом понятий, причем корнем, не загруженным другими значениями и дающий максимальную свободу для образования производных слов. Все попытки воспользоваться известными терминами типа “перемешанные таблицы“, “рандомизация“, “функция расстановки“ приводят к длинным и тяжеловесным словосочетаниям.
Метод хеш–адресации впервые был использован при разработке ассемблера для ЭВМ IBM 701 в 1954 году. Суть метода состоит в том, что включение и поиск по таблице основывается на использовании не самого идентифицируемого слова (ключа), а некоторой информации, зависящей от него. Это метод преобразования слова в индекс элемента в таблице. Индекс получается “хешированием“ слова – выполнением над ним (и, возможно, над его длиной) некоторых арифметических или логических операций. Простой хеш–функцией является внутреннее представление кода первой литеры слова. Так, если двоичное представление символа А – 01000001 – 65, то результат хеширования АВЕ будет 65 (или 1, или 0, если использовать не код ASCII, а порядковый номер буквы).
Пока для двух различных слов результаты хеширования различны, время поиска совпадает с временем, затраченным на хеширование, так как мы имеем дело с прямым доступом к таблице и получаем огромную экономию по сравнению с поиском по неупорядоченной и даже упорядоченной таблице. Однако, возникают затруднения, если результаты хеширования двух различных слов совпадают. Это называется коллизией. Очевидно, что в данной позиции таблицы может быть помещено только одно слово, так что мы должны найти другое место для второго. Хорошая хеш–функция распределяет вычисляемые адреса равномерно на все, имеющиеся в распоряжении адреса, так что коллизии не возникают слишком часто. Хеш– функция, описанная выше, очевидна плоха, так как все идентификаторы, начинающиеся с одной и той же буквы, ссылаются на один и тот же адрес. Далее мы рассмотрим различные хеш–функции. Но сначала обсудим один из способов решения задачи коллизии – рехеширование.