4.8. Непараметрические алгоритмы распознавания образов с учётом взаимосвязи между признаками

Для уменьшения ошибки распознавания образов целесообразно учитывать информацию о мере связанности признаков внутри классов. Рассматривается модификация непараметрического алгоритма классификации непрерывных переменных, основанная на введении дополнительного признака, учитывающего взаимосвязь переменных внутри классов. Предлагаемая модификация может привести к уменьшению области пересечения классов.

Структура предлагаемого алгоритма изображена на рисунке 4.10. Символ обозначает процедуру получения дополнительного признака , где - количество классов , на основании которого будет строиться алгоритм распознавания образов.

Рассмотрим двуальтернативную задачу распознавания образов .

Рис. 4.10. Структура алгоритма, учитывающего взаимосвязь между признаками

Тогда обучающая выборка будет выглядеть следующим образом:

Меру связанности между признаками сигнала первого класса будем определять следующим образом

, (4.25)

где  оценка совместной плотности вероятности признаков , а  произведение оценок плотностей вероятности соответствующих признакам первого класса .

По аналогии определяется - характеризующая меру связности между признаками второго класса .

Для наиболее эффективного учёта дополнительной информации можно вводить различные преобразования над признаками , например

либо ,

где

, , ;

, , и др.

4.9. Нелинейные непараметрические коллективы решающих правил в задачах распознавания образов

С позиции последовательных процедур принятия решений и принципов коллективного оценивания рассматриваются статистические модели распознавания образов, представляющие собой семейство частных решающих функций, организация которых в нелинейном решающем правиле осуществляется с помощью методов непараметрической статистики. Частные решающие функции формируются на основе однородных частей обучающей выборки, которые удовлетворяют одному или нескольким требованиям: наличие однотипных признаков, пропусков данных, возможностью декомпозиции исходных признаков на группы в соответствии со спецификой решаемой задачи. Это порождает широкий круг постановок задач синтеза непараметрических решающих правил. При интеграции локальных решающих функций используются непараметрические оценки оптимальных байесовских решающих правил.

Рассмотрим методику построения нелинейного непараметрического коллектива на примере двуальтернативной задачи распознавания образов в пространстве непрерывных признаков.

Пусть - обучающая выборка объёма , составленная из значений признаков классифицируемых объектов и соответствующих «указаний учителя» об их принадлежности к одному из двух классов

Причём отношение «размерность/объём выборки» соизмеримо с единицей.

Условные плотности вероятности распределения значений признаков в области определения классов неизвестны.

Идея предлагаемого подхода к решению задачи распознавания образов в данных условиях состоит в выполнении следующих действий:

1. В соответствии с особенностями задачи классификации сформировать наборы признаков и на этой основе осуществить декомпозиции исходной выборки на однородные части .

2. По полученным данным построить решающие правила

(4.26)

В качестве оценок частных решающих функций между классами в пространстве признаков используются непараметрические статистики

, , (4.27)

где - ядерные функции, удовлетворяющие условиям положительности, симметричности, нормированности и имеют конечные центральные моменты.

Оптимизация частных решающих правил (4.26) по коэффициентам размытости ядерных функций осуществляется в режиме «скользящего экзамена» из условия минимума статистической оценки вероятности ошибки распознавания образов

, ,

где - решение алгоритмом (4.26) о принадлежности ситуации к одному из двух классов. При формировании решения ситуация исключается из процесса обучения в непараметрической статистике (4.27).

3. Используя непараметрические оценки решающих функций (4.27), сформировать обучающую выборку

и построить решающее правило в пространстве значений ,

(4.28)

где непараметрическая оценка обобщённой решающей функции между классами имеет вид

. (4.29)

Структура нелинейного непараметрического алгоритма распознавания образов представлена на рисунке 4.11.

Рис.4.11. Структура нелинейного непараметрического алгоритма распознавания образов коллективного типа

На первом уровне структуры системы классифицируемая ситуация , преобразуется в значения непараметрических оценок , (рис. 4.13), в пространстве которых принимается решение правилом (4.28) о принадлежности ситуации к тому или иному классу.

Рис.4.12. Элементы исходной выборки в пространстве двух признаков при . Ситуации 1-го класса - ; второго класса - .

Рис.4.13. Элементы выборки, используемые при синтезе нелинейного непараметрического коллектива при , , . Ситуации 1-го класса - ; второго класса - .

Предлагаемый алгоритм классификации обеспечивает не только эффективное решение задач распознавания образов в условиях малых выборок, но и позволяет учитывать априорные сведения о виде частных решающих функций.

4.10. Гибридные алгоритмы распознавания образов

При решении задач распознавания образов различают два типа исходной информации: априорные сведения о виде уравнения разделяющей поверхности и обучающая выборка , составленная из значений признаков классифицируемых объектов и соответствующих им «указаний учителя» . Известные подходы к синтезу решающего правила классификации ориентированы в основном на определенный тип исходных данных, что при отличающихся априорных условиях приводит к снижению их эффективности. Так, если в параметрических алгоритмах за основу принимаются сведения , то для непараметрических процедур распознавания образов достаточно знание лишь качественных характеристик об уравнении разделяющей поверхности, вероятностных законах распределения значений признаков в классах и информации обучающей выборки . В первом случае за счёт «сжатия» выборки в оценки параметров уравнения разделяющей поверхности теряется полезная информация о локальном поведении разделяющей поверхности. Во втором – не учитываются априорные сведения .

Для решения проблемы эффективного использования априорной информации предлагаются и исследуются гибридные модели распознавания образов.

Пусть исходную информацию при решении двухальтернативной задачи распознавания образов составляют обучающая выборка и априорные сведения о виде уравнения разделяющей поверхности между классами в пространстве . Знание предполагает наличие решающего правила классификации

(4.30)

по тем или иным причинам не удовлетворяющего исследователя. Информация обучающей выборки формируется на основании данных о значениях признаков классифицируемых объектов и соответствующим им «указаний учителя»

(4.31)

Для использования в полном объёме априорной информации воспользуемся принципами гибридного моделирования, которые обеспечивают сочетание в обобщенном решающем правиле классификации преимущества параметрических и локальных методов аппроксимации.

Для этого определим параметры уравнения разделяющей поверхности решающего правила (4.30) из условия минимума эмпирической ошибки распознавания образов

, (4.32)

где индикаторная функция

- «решение» правила (4.30) о принадлежности ситуации к тому или иному классу.

По результатам вычислительного эксперимента сформируем выборку расхождений между «решениями» правила (4.30) и «указаниями учителя» из обучающей выборки . При этом значения функции расхождений

При наличии ошибки функция расхождения принимает значение обратное по знаку уравнения разделяющей поверхности и превышает его на величину параметра . Например, если ситуация принадлежит второму классу (), а в соответствии с решающим правилом (4.30) классифицируемый объект с признаками , т.е. , то значение в ситуации функции расхождения .

Восстановление функции по выборке осуществляется на основе непараметрической регрессии (3.5)

, , (4.33)

где - ядерная функция, удовлетворяющая условиям положительности, симметричности и нормированности.

Тогда гибридный алгоритм классификации запишется в виде

(4.34)

(4.35)

Оптимизация алгоритма (4.34) по параметрам размытости ядерных функций и осуществляется из условия минимума статистической оценки ошибки распознавания образов типа (4.32).

Меняя вид функции , обеспечивающей коррекцию , можно получить семейство гибридных решающих правил. Например, в условиях будем формировать значение функции расхождения между «решением» алгоритма (4.30) и «указанием учителя» о принадлежности ситуации к тому или иному классу в соответствии с выражением

(4.36)

В этом случае оценка уравнения разделяющей поверхности для двуальтернативной задачи распознавания образов представляется в виде

, (4.37)

где восстанавливается по выборке с помощью статистики типа (4.33).

Гибридный алгоритм классификации при наличии частных сведений о виде уравнения разделяющей поверхности. Будем полагать, что имеется алгоритм распознавания образов , принимающий в соответствии со знаком уравнения разделяющей поверхности решение о принадлежности ситуации к одному из двух классов . Пусть в результате расширения возможностей системы контроля признаков классифицируемых объектов получена дополнительная информация и сформирована обучающая выборка

,

где .

Следуя предложенной методике синтеза гибридных алгоритмов распознавания образов, определим оценку функцию расхождения в пространстве признаков

, (4.38)

где

;

Тогда модифицированный гибридный алгоритм классификации представляется в виде

(4.39)

где

.

Здесь также коррекция исходного уравнения разделяющей поверхности может быть осуществлена в форме (4.37) по выборке . При этом значения функции расхождений определяются в соответствии с выражением (4.36).

В отличие от рассмотренного ранее гибридного алгоритма распознавания образов (4.34) в решающей функции (4.37) априорные сведения о виде уравнения разделяющей поверхности и функция расхождения определены в разных пространствах признаков. Ближайшим аналогом предложенного подхода является метод восстановления стохастических зависимостей с учётом их частичного описания

Гибридные алгоритмы в многоальтернативной задаче распознавания образов. Используя метод дихотомии, полученные в предыдущих разделах гибридные алгоритмы классификации допускают обобщение на многоальтернативную задачу распознавания образов. Рассмотрим несколько иной подход построения гибридных алгоритмов, основанный на корректировки оценок плотностей вероятности распределения признаков анализируемых объектов в классах .

Будем полагать, что имеется решающее правило, соответствующее, например, критерию максимального правдоподобия

. (4.40)

Для его корректировки сформируем выборки

, ,

где

На их основе восстановим с помощью непараметрической регрессии типа (4.33) функции расхождения , между «решениями» .

Тогда уточнённые оценки плотности вероятности в решающем правиле (4.40) представляются процедурами

, .

Изменяя вид функции расхождения в вычислительном эксперименте

, получим несколько иную процедуру корректировки оценок плотностей вероятности

, .

Данный процесс уточнения решающего правила может быть продолжен до стабилизации ошибки распознавания образов.