2. Сигналы, данные, информация

Термин «информация» происходит от латинского informatio — разъяснение, изложение, осведомленность. Информация (сведения) – базовое неопределяемое понятие (наряду с материей и энергией), соответствует наличию порядка, организации в какой–то области, и отсутствию неопределенности. Противоположное понятие – энтропия (беспорядок)

Увеличение информации		Строгий порядок
Полный хаос (неопределенность)		Рост энтропии

Все виды взаимодействия физических объектов порождают сигналы различных видов, которые могут вызывать изменения свойств в физических телах. Это явление называется регистрацией сигналов.

Сигналы, зарегистрированные на материальном носителе, называются данными.

Данные, несущие информацию о событии, могут не являться информацией, т. к. одни и те же данные воспринимаются в сознании людей по-разному. Например, текст, написанный на русском языке, даст различную информацию, человеку, знающему алфавит и язык, и не знающему. Чтобы получить информацию, имея данные, необходимо применить к ним методы, которые преобразуют данные в понятия. Методы также бывают различными. Например, человек, знающий русский язык, применяет адекватный метод, читая текст на русском языке. А, человек, не знающий русского языка применяет неадекватный метод, пытаясь понять русский тест. Таким образом, можно считать, что информация – это продукт взаимодействия данных и адекватных методов.

Знание – информация, как описание объектов, их свойств и связей. Включает компоненты – декларативный (само описание) и процедурный (правила действия, операции). Основное отличие Знаний от данных это наличие причинно-следственной зависимости.

3. Измерение информации

Информация – это физическая величина, такая же, например энергия или скорость, поэтому она должна измеряться.

Количеством информации называют числовую характеристику сигнала, отражающую ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала. Эту меру неопределенности в теории информации называют энтропией. Для ее измерения принимается минимальная единица хранения информации– 1 бит(binary digit), элемент памяти, который может переключаться между 2-мя состояниями, обозначаемыми 0 и 1. Связь между количеством информации и числом состояний системы устанавливается формулой Хартли:

N=2^I, где N – количество возможных событий, I – количество информации.

Например, если мы бросаем монету, то сначала неопределенность наших знаний равна 2, так как мы не знаем, что выпадет «орел» или «решка». После броска мы уже знаем, в каком положении находится монета – либо «орел», либо «решка». Т. е. неопределенность наших знаний уменьшилась в два раза.

Если события не равновероятны, то для вычисления количества информации используется формула Шеннона (1948г): , где N – количество возможных событий, I – количество информации, p_i – вероятности отдельных событий.

Формула Шеннона - формула для определения энтропии - количества информации. Количество информации может быть и целым и нецелым действительным числом.

Для равновероятных событий количество информации можно вычислить по формуле. Для равновероятных событий величина количества информации принимает максимальное значение.

Задача 1. Эксперимент состоит в однократном подбрасывании игральной кости (6 граней). Чему равна информативность результата эксперимента?

Рассуждаем т. о. События не равновероятны, если судить о том, сколько выпадет точек на грани? А максимально-6. Допустим, что события равновероятны, тогда I=log₂6. А это меньше, чем log₂8=3. Ответ: Информативность результата меньше 3-х бит.