- •2.Косвенный переход
- •Дескрипторы
- •Основные характеристики тестов
- •Надёжность тестирования –
- •Однородное ранжирование
- •Ранжирование по методу Хаффмана
- •Формы представления чисел
- •Представление чисел с учетом знака
- •4.1. Сложение с плавающей точкой
- •4.2. Умножение мантисс чисел с плавающей точкой
- •Сложение чисел
- •Система команд
- •Интегральный таймер
- •Программируемый адаптер последовательного интерфейса
- •Схемы управления и защиты памяти
- •Разрядность обрабатываемых данных - 8; 16; 32
- •Разрядность обрабатываемых данных - 8; 16; 32
- •80486Dx – 32 разрядный процессор 80486 с встроенным сопроцессором
- •80486Sx -- 32 разрядный процессор 80486 без сопроцессора
- •80486Dx2 – частота cpu увеличена в 2 раза по сравнению с шиной.
- •80486Dx4 -- частота cpu увеличена в 2,5 (3) раза по сравнению с шиной.
- •Для увеличения объёма convention memory осуществляют перемещение dos, резидентных программ и драйверов в расширенную память.
- •Существуют две системы нумерации секторов на диске:
- •Pause [сообщение] -- приостановка выполнения bat-файла и выдача сообщения
- •73. Управление дисками и каталогами в ms-dos.
- •Триггеры с управлением по фронту
- •Приведена схема мультиплексора 4 в 1
- •После заполнения таблицы можно перейти к синтезу комбинационной схемы r- го вычислителя I – го разряда регистра.
- •2.1.2. Комбинаторная мера.
- •2.1.3. Аддитивная мера Хартли.
- •2.2.3. Условная энтропия.
- •2.2.4. Энтропия и информация.
- •3.2. Выбор частоты отсчётов при дискретизации.
- •3.3. Квантование по уровню.
- •Теорема 1
- •Теорема 2
- •4.4. Оптимальное кодирование.
- •Например: Дан восьмибуквенный первичный алфавит, известны безусловные вероятности для символов первичного алфавита.
- •4.6.2. Циклические коды.
- •1. Семантический разрыв между архитектурой эвм и уровнем решаемых задач
- •1.1. Физическая и виртуальная эвм
- •1.2. Семантический разрыв между физической и виртуальной эвм
- •1.3. Уменьшение семантического разрыва
- •1.4. Векторная обработка данных
- •2. Основы горизонтальной и вертикальной обработки информации
- •2.1. Характеристика горизонтальной и вертикальной технологий
- •2.2. Вертикальные операции и устройства
- •2.2.1. Операция вертикального сложения.
- •2.2.2. Операция деления количества единиц.
- •2.2.3. Операция упорядочения единиц.
- •2.2.4. Примеры выполнения вертикальных операций.
- •3. Использование матричного параллелизма в архитектуре эвм
- •3.1. Матричный параллелизм на системном уровне
- •3.1.1. Однородные матричные процессоры.
- •3.1.2. Периферийные матричные процессоры.
- •3.2. Матричный параллелизм на схемном уровне
- •3.2.1. Параллельные сдвигатели.
- •3.2.2. Параллельные сумматоры.
- •3.2.3. Матричные умножители
- •3.2.4. Матричные делители.
- •№114 Матричные системы
- •№117 Многомашинные системы
- •№121 Стандарт скоростной оптической магистрали fddi.
- •152. Принцип управления по хранимой микропрограмме. Операционно-адресная структура микрокоманды.
- •Основная задача свв – организация обменом информации между оп эвм и пу.
- •К основным функциям свв относят следующие:
- •166. Формирование речевых сообщений по правилам и по образцам. Способы сжатия информации в устройствах ввода-вывода речевых сообщений.
2.2.3. Условная энтропия.
Пусть и - зависимые события. В общем случае для имеет место:
A1 |
А2 |
…
|
Ak |
PA1 |
PA2 |
… |
PAk |
Для в общем случае:
B1 |
B2 |
…
|
Bk |
PB1 |
PB2 |
… |
PBk |
Из теории вероятностей известно:
Применив это к событиям и получим: H( )=-P(A1B1)logP(A1B1)-P(A1B2)logP(A1B2)-…-P(A1BL)log(A1BL)-…- P(AkB1)logP(AkB1)-P(AkB2)logP(AkB2)-…- P(AkBL)log P(AkBL).
Рассмотрим первую строчку: -P(A1)PA1(B1)(logP(A1)+logPA1(B1))-P(A1)PA1(B2)(logP(A1)+logPA1(B2))-…-P(A1)PA1(B1)(logP(A1)+logPA1(B1))-… -P(A1)PA1(BL)(logP(A1)+logPA1(BL)) = - P(A1)( PA1(B1)+PA1(B2)+…+ PA1(BL))logP(A1)+
{=1}
+P(A1)(- PA1(B1)log PA1(B1)- PA1(B2)log PA1(B2)-…- PA1(BL)log PA1(BL))= - P(A1)logPA1+ P(A1)HA1().
Выделенное жирным курсивом - частная условная энтропия P при условии, что A1 произошло. Обозначается HA1().
Аналогичными преобразованиями все оставшиеся строки для энтропии H( ) могут быть приведены к виду:
H( )=H()+H().
Группа H() называется обшей условной энтропией относительно .
Для русского алфавита (m=32) имеем: H0(A)=log32=5[бит]=Hmax
Если нам известны безусловные вероятности появления отдельных букв, можно вычислить энтропию русского алфавита:
(Кстати, для украинского алфавита н,(а) = 4,57[бит])
Если известны вероятности появления одной буквы после другой, то имеет место условная энтропия 1-го порядка: H2(A)=3,52[бит]
Если известны вероятности трёхбуквенных сочетаний, то имеет место условная энтропия 2-го порядка: H3(A)=3,0[бит]
Выводы:
1. Русский алфавит обладает значительной избыточностью (более 2 бит на символ, т.е. ~ 40%).
2. Для кодирования букв русского алфавита в среднем достаточно 3 бита на символ.
Условная энтропия широко применяется при определении информационных потерь при передаче информации по каналам связи.
Пусть дан некоторый канал связи. На его входе источник генерирует символы iи направляет их в канал. На выходе канала приёмник получает из канала символыi.
Тогда, НAi() - неопределённость того, что отправив Аi, получаем Bj; HBj() - неопределённость, которая остаётся после принятия Bj, в том, что было отправлено Aj.
Если помех нет, то при этом H(A) = H(B) . Иначе, если имеются потери, то статистически это можно описать в виде канальных матриц со стороны источника и со стороны приёмника. Канальная матрица со стороны источника.
|
B1 |
B2 |
… |
Bl |
A1 |
PA1(B1) |
PA1(B2) |
… |
PA1(Bl) |
A2 |
PA2(B1) |
PA2(B2) |
… |
PA2(Bl) |
… |
… |
… |
… |
… |
Ak |
PAk(B1) |
PAk(B2) |
… |
PAk(Bl) |
Канальная матрица со стороны приёмника.
|
B1 |
B2 |
… |
Bl |
A1 |
PB1(A1) |
PB2(A1) |
… |
PBl(A1) |
A2 |
PB1(A2) |
PB2(A2) |
… |
PBl(A2) |
… |
… |
… |
… |
… |
Ak |
PB1(Ak) |
PB2(Ak) |
… |
PBl(Ak) |
В клетках матрицы расположены вероятности, описывающие события А и В. При этом:
PAi(Bj)- вероятность приема символа Bj если был отправлен символ Аi
PBi(Ak)- вероятность отправления символа Ak если был
принят символ Bi
Свойства канальных матриц.
1°. Канальные матрицы - квадратные матрицы.
2°. Максимальные вероятности лежат на главной диагонали.
3°. Вероятности убывают по мере удаления от главной диагонали.
4°. Сумма вероятностей в строке равна единице для канальной матрицы со стороны источника и сумма вероятностей в столбце равна единице для канальной матрицы со стороны приёмника.
Потери информации, приходящиеся на один символ первичного алфавита, описываются энтропией НAi(). Потери для всего канала описываются энтропией Н()
Свойства условной энтропии.
1°. Общая условная энтропия относительно всегда больше либо равна нулю.
ЕслиP(Ai)0, i=1,k то H ()=0 в том и только в том случае, если HA1()=HA2()=…=HAk()=0
т.е. в случае, если при любом исходе результат полностью определён. При этом H()=H()
На практике это соответствует каналу без шума.
Если и независимы, то
HA1()=HA2()=…=HAk()=H()
H()=H()H()=H()+H()
2°. Событие может только уменьшить (или не изменить) неопределённость ; H()-H()H() H()
Информационные характеристики канала связи можно использовать для улучшения точностных характеристик передаваемых сообщений путём двойного упорядочивания.
Определяем потери на одно кодовое слово и упорядочиваем их по убыванию потерь.
Упорядочиваем первичный алфавит по убыванию вероятностей, и далее присваиваем кодовым словам символы первичного алфавита.
3). Энтропия объединения событий и обладает симметрией: H()=H()
Из этого следует: H()=H()+H()= H()+H () H()= H()-H() H ()=H()-H()
№101. Энтропия и информация. Свойства информации.