- •Методические указания
- •Вероятностные модели в задачах теории информации
- •1.1. Случайные события. Вероятность
- •1.2. Дискретная и непрерывная случайные величины
- •1.3. Задачи
- •1.4. Контрольные вопросы
- •2. Информационная мера шеннона.
- •2.1. Количество информации и избыточность.
- •2.2. Энтропия непрерывных сообщений
- •2.3. Задачи
- •2.4. Контрольные вопросы
- •3. Условная энтропия и взаимная информация
- •3.1. Дисктретные системы передачи информации.
- •3.2. Непрерывные системы передачи информации.
- •3.3. Задачи
- •3.4. Контрольные вопросы
- •Список использованных источников
- •Значение функции
- •654600 «Информатика и вычислительная техника» и направления подготовки бакалавров 552800 «Информатика и вычислительная техника».
- •450000, Уфа-центр, к. Маркса, 12
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
УФИМСКИЙ ГОСУДАРСТВЕННЫЙ АВИАЦИОННЫЙ
ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
Методические указания
к практическим занятиям по курсу «Информатика»
по направлению подготовки дипломированных специалистов 654600
«Информатика и вычислительная техника» и направлению подготовки
бакалавров 552800 «Информатика и вычислительная техника»
УФА-2003
Составители: Н.И. Юсупова, О.Н. Сметанина, Г.Р. Шахмаметова.
УДК: 621.391
Методические указания «Вычислительные аспекты в задачах теории информации» к практическим занятиям по курсу «Информатика» по направлению подготовки дипломированных специалистов 654600 «Информатика и вычислительная техника» и направлению подготовки бакалавров 552800 «Информатика и вычислительная техника» / Уфимск. гос. авиац. техн. ун-т; Сост. Н.И. Юсупова, О.Н. Сметанина, Г.Р. Шахмаметова. Уфа, 2003. – 29 с.
Методические указания разработаны в помощь специалистам направления 654600 «Информатика и вычислительная техника». Могут быть использованы при изучении курса: «Информатика».
Содержатся краткие теоретические сведения по разделам курса «Вероятностные модели в задачах теории информации», «Информационная мера Шеннона», «Условная энтропия и взаимная информация». В конце каждого раздела методических указаний дан разбор решений типовых задач. Приведены упражнения и задачи для самостоятельной работы, контрольные вопросы.
Ил. 4, Табл. 3, Библ. 6 назв.
Рецензенты: Тарасова Т.Д.
Черняховская Л.Р.
СОДЕРЖАНИЕ
|
стр. |
1. Вероятностные модели в задачах теории информации 1.1. Случайные события. Вероятность 1.2. Дискретная и непрерывная случайные величины 1.3. Задачи 1.4. Контрольные вопросы |
4 4 7 12 14 |
2. Информационная мера Шеннона 2.1. Количество информации и избыточность 2.2. Энтропия непрерывных сообщений 2.3. Задачи 2.4. Контрольные вопросы |
16 16 17 18 20 |
3. Условная энтропия и взаимная информация 3.1. Дискретные системы передачи информации 3.2. Непрерывные системы передачи информации 3.3. Задачи 3.4. Контрольные вопросы |
21 21 22 24 25 |
Список используемых источников Примечание 1. Значение функции Примечание 2. Указания к решению задач |
26 27 28 |
|
|
Вероятностные модели в задачах теории информации
1.1. Случайные события. Вероятность
Событие - всякий факт, который в результате опыта может произойти или не произойти. Вероятность события - это число, которое является мерой возможности реализации события. Вероятность P(A) случайного события A заключена в пределах
Достоверное событие U такое, что
Невозможное событие V такое, что
Суммой или объединением событий называется событие A, которое происходит тогда и только тогда, когда происходит, по крайней мере, одно из этих событий. Сумма обозначается
Произведением или пересечением событий называется такое событиеA, которое происходит тогда и только тогда, когда происходят события вместе. Произведение обозначается
События образуют полную группу событий, если в результате опыта появляется хотя бы одно из них:
События A и B называются несовместными, если их совместное появление невозможно:
Два события называются противоположными, если они несовместны и образуют полную группу. Событие, противоположное событию A, обозначается .
Когда рассматриваемый опыт имеет N равновозможных исходов, которые несовместны и составляют полную группу, вероятность события А можно рассчитать по формуле:
где m - число исходов, которые приводят к наступлению события A.
Частотой или статистической вероятностью P*(A) события A в данной серии испытаний называется отношение числа опытов n, в которых появилось событие, к общему числу N произведенных опытов:
По теореме Бернулли при большом числе опытов частота сходится по вероятности к вероятности события.
Расчеты вероятности сложного события A через вероятности более простых событий базируются на использовании основных теорем теории вероятностей.
Теорема сложения вероятностей. Вероятность суммы двух событий равна сумме вероятностей этих событий минус вероятность их произведения:
Теорема умножения вероятностей. Вероятность совместного появления двух событий равна произведению вероятности одного из них на условную вероятность другого при условии, что первое имело место:
где - условная вероятность событияB, т.е. вероятность события B, вычисленная в предположении, что имело место событие A.
Во многих ситуациях событие A может появиться лишь как случайное следствие одного из несовместных событий образующих полную группу. В этих случаях безусловная вероятностьP(A) события A при известных вероятностях и определяется по формуле полной вероятности:
При этих же данных можно найти значения вероятностей событий если предположить, что событиеA уже произошло. Задачи такого типа решаются с помощью формулы Байеса:
Рассмотрим несколько примеров.
Пример 1. В последовательности из N двоичных символов имеется M единиц. При передаче данной последовательности сохраняется n символов, остальные теряются. Какова вероятность того, что среди них будет не более m единиц?
Решение. Пусть A - событие, состоящее в том, что среди двоичных символов будет не более m единиц. Событие A произойдет тогда, когда среди n двоичных символов не будет ни одной единицы (событие ) или одна единица (событие), или две (событие), . . ., или окажетсяm единиц (событие ), т.е.
Вероятность события можно рассчитать следующим образом. Общее число возможных выборов n символов из N равно числу сочетаний из N по n, т.е. . Благоприятствующими событиюявляются случаи, когда из общего числаM единиц сохранено ровно K, что возможно в случаях. На каждый из этих случаев в сохраненной последовательности символов может бытьразличных комбинаций () нулей. Общее число случаев, благоприятствующих событию, равно. Поэтому
По теореме сложения
Пример 2. По каналу связи с помехами передается одна из двух команд управления управления в виде кодовых комбинаций 11111 и 00000, вероятности передачи этих команд равны соответственно 0,7 и 0,3. Вероятность правильного приема каждого из символов 0 и 1 равна 0,6. Символы искажаются помехами независимо друг от друга. На выходе канала имеем кодовую комбинацию 10110. Оценить, какая команда была передана.
Решение. Пусть A - событие, состоящее в приеме комбинации 10110. Это событие может произойти только в совокупности с одним из событий: - передавалась команда11111, - передавалась команда00000. При этом
Условная вероятность приема комбинации 10110 при условии, что передавалась команда 11111 равна
Аналогично
По формуле Байеса
Сравнивая найденные результаты, заключаем, что более вероятна передача команды 11111.