- •1. Введение
- •2. Информатика
- •Предмет и основные понятия информатики
- •Понятие информации и её свойства
- •Классификация информации
- •1) По способам восприятия
- •3) По предназначению
- •Свойства информации
- •Объективность
- •Достоверность
- •Полнота
- •Понятие количества информации
- •Тема 1. Информация и информационные процессы
- •1.1. Информация. Информационные объекты различных видов
- •1.2. Виды и свойства информации
- •1.3. Основные информационные процессы. Хранение, передача и обработка информации
- •Информационная энтропия
- •Формальные определения
- •Определение по Шеннону
- •Определение с помощью собственной информации
- •Свойства
- •Математические свойства
- •Эффективность
- •Вариации и обобщения
- •Условная энтропия
- •Взаимная энтропия
- •История
- •Алгоритм Шеннона — Фано
- •Основные сведения
- •Основные этапы
- •Алгоритм вычисления кодов Шеннона — Фано
- •Пример кодового дерева
- •Информация
- •История понятия
- •Классификация информации
- •Значение термина в различных областях знания Философия
- •В информатике
- •Системология
- •В физике
- •В математике
- •В теории управления
- •В кибернетике
- •Информация в материальном мире
- •Информация в живой природе
- •Информация в человеческом обществе
- •Хранение информации
- •Передача информации
- •Обработка информации
- •Информация в науке
- •Теория информации
- •Теория алгоритмов
- •Теория автоматов
- •Семиотика
- •Дезинформация
- •1. Введение
- •Способы кодирования информации.
- •Теорема Шеннона — Хартли
- •Утверждение теоремы
- •История развития
- •Критерий Найквиста
- •Формула Хартли Теоремы Шеннона для канала с шумами
- •Теорема Шеннона — Хартли
- •Значение теоремы Пропускная способность канала и формула Хартли
- •1. Передача информации. Информационные каналы
- •2. Характеристики информационного канала
- •3. Абстрактный алфавит
- •4. Кодирование и декодирование
- •5. Понятие о теоремах Шеннона
- •6. Международные системы байтового кодирования
- •7. Кодирование информации
- •7.1. Двоичное кодирование текстовой информации
- •7.2. Кодирование графической информации
- •7.2.1. Кодирование растровых изображений
- •7.2.2. Кодирование векторных изображений.
- •7.3. Двоичное кодирование звука
- •Алгоритм
- •История термина
- •Определения алгоритма Неформальное определение
- •Формальное определение
- •Машина Тьюринга
- •Рекурсивные функции
- •Нормальный алгоритм Маркова
- •Стохастические алгоритмы
- •Другие формализации
- •Формальные свойства алгоритмов
- •Виды алгоритмов
- •Нумерация алгоритмов
- •Алгоритмически неразрешимые задачи
- •Анализ алгоритмов Доказательства корректности
- •Время работы
- •Наличие исходных данных и некоторого результата
- •Представление алгоритмов
- •Эффективность алгоритмов
- •1.1. Sadt-модели
- •1.2. Модель отвечает на вопросы
- •1.3. Модель имеет единственный субъект
- •1.4. У модели может быть только одна точка зрения
- •1.5. Модели как взаимосвязанные наборы диаграмм
- •1.6. Резюме
- •Классификация моделей
- •1) Классификация моделей по области использования:
- •2) Классификация моделей по фактору времени:
- •1.3.1. Основные признаки систем
- •Система
- •Различные определения
- •Свойства систем Связанные с целями и функциями
- •Связанные со структурой
- •Связанные с ресурсами и особенностями взаимодействия со средой
- •Классификации систем Ранги систем
- •Термодинамическая классификация
- •Другие классификации
- •Закон необходимости разнообразия (закон Эшби)
Информационная энтропия
Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка, см. ниже) встречаются очень редко, то неопределённость уменьшается еще сильнее.
Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.
Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.
Формальные определения
Информационная двоичная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n, p — функция вероятности) рассчитывается по формуле:
Эта величина также называется средней энтропией сообщения. Величина называется частной энтропией, характеризующей только i-e состояние.
Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы. Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.
Определение по Шеннону
Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:
-
мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;
-
в случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;
-
должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.
Поэтому функция энтропии H должна удовлетворять условиям:
-
определена и непрерывна для всех , где для всех и . (Нетрудно видеть, что эта функция зависит только от распределения вероятностей, но не от алфавита.)
-
Для целых положительных n, должно выполняться следующее неравенство:
-
Для целых положительных bi, где , должно выполняться равенство:
Шеннон показал, что единственная функция, удовлетворяющая этим требованиям, имеет вид:
где K — константа (и в действительности нужна только для выбора единиц измерения).
Шеннон определил, что измерение энтропии (), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить математическое ожидание «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка — имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т. д. (см. цепи Маркова).
Определение энтропии Шеннона связано с понятием термодинамической энтропии. Больцман и Гиббс проделали большую работу по статистической термодинамике, которая способствовала принятию слова «энтропия» в информационную теорию. Существует связь между термодинамической и информационной энтропией. Например, демон Максвелла также противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии.