Мера Шеннона, как обобщение меры Хартли для неравновероятных событий.

Представим себе, что имеются объекты различных видов, причем:

– всего имеется M видов объектов;

– объектов каждого i-го вида имеется N_i.

Тогда по Хартли, если мы извлекаем один из объектов i-го вида, то получаем I_i бит информации

В среднем по  на один объект i-го вида.

Сумма этих средних будет равна:

(где: p_i=1/N_i, – вероятность встречи объектов i-го вида).

Последнее выражение – это и есть формула Шеннона, которая, таким образом, позволяет рассчитать средневзвешенное количество информации, приходящееся на один объект, получаемое при предъявлении объектов различных видов.

Отметим, что идентификация объектов, как относящихся к тому или иному виду (i-му виду) осуществляется на основе признаков этих объектов. В простейшем варианте это может быть и один признак, например номер вида на бильярдном шаре, но в реальных случаях признаков может быть очень много и их различные наборы сложным и неоднозначным образом могут быть связаны с принадлежностью объектов к тем или иным классам.

Но главный вывод от этого не изменяется: формула Шеннона дает средневзвешенное количество информации, приходящееся на один объект, получаемое при предъявлении объектов различных видов (классов), отличающихся своими наборами признаков. Мера Шеннона является обобщением меры Хартли для неравновероятных событий.

 

 

1.3.3.1.3. Связь принятия решений и распознавания образов

Распознавание образов есть решение задачи идентификации состояния объекта или системы, отнесение его к той или иной классификационной категории.

Распознавание образов и принятие решений тесно взаимосвязаны:

– само распознавание безусловно представляет  собой принятие решения об отнесении состояния системы к той или иной категории;

– от того, к какой категории отнесено состояние системы самым непосредственным образом зависят и решения по управлению этой системой;

– математический аппарат распознавания образов и принятия решений имеет очень много аналогий, а иногда и просто является тождественным (например, сведение многокритериальной задачи к однокритериальной).

 

1.3.3.1.4. Классификация задач принятия решений

Множественность задач принятия решений связана с тем, что каждая компонента ситуации, в которой осуществляется принятие решений может реализовываться в качественно различных вариантах.

Вот только некоторые из этих вариантов:

Множество альтернатив с одной стороны может быть конечным, счетным или континуальным, а с другой – закрытым (т.е. известным полностью), или открытым (включающим неизвестные элементы).

Оценка альтернатив может осуществляться по одному или нескольким критериям, которые, в свою очередь, могут иметь количественный или качественный характер.

Режим выбора может быть однократным (разовым), или многократным, повторяющимся, включающим обратную связь по результатам выбора, т.е. допускающим обучение алгоритмов принятия решений с учетом последствий предыдущих выборов.

Последствия выбора каждой альтернативы могут быть точно известны заранее (выбор в условиях определенности), иметь вероятностный характер, когда известны вероятности возможных исходов после сделанного выбора (выбор в условиях риска), или иметь неоднозначный исход с неизвестными вероятностями (выбор в условиях неопределенности).

Ответственность за выбор может отсутствовать, быть индивидуальной или групповой.

Степень согласованности целей при групповом выборе может варьироваться от полного совпадения интересов сторон (кооперативный выбор), до их противоположности (выбор в конфликтной ситуации). Возможны также промежуточные варианты: компромисс, коалиция, нарастающий или затухающий конфликт.

Различные сочетания перечисленных вариантов и приводят к многочисленным задачам принятия решений, которые изучены в различной степени.