Контрольные вопросы к экзамену по дисциплине «вт и программирование»

1. Информация: формы представления, единицы измерения, основные свойства. Формула Хартли. Сигнал, сообщение, данные.

Информация - по законодательству РФ - сведения о лицах, предметах, фактах, событиях, явлениях и процессах независимо от формы их представления.

Информация уменьшает степень неопределенности, неполноту знаний о лицах, предметах, событиях и т.д.

Сигнал (от латинского signum — знак) представляет собой любой процесс, несущий информацию.

Сообщение — это информация, представленная в определенной форме и предназначенная для передачи.

Данные — это информация, представленная в формализованном виде и предназначенная для обработки ее техническими средствами, например, ЭВМ.

Различают две формы представления информации — непрерывную и дискретную. Поскольку носителями информации являются сигналы, то в качестве последних могут использоваться физические процессы различной природы. Например, процесс протекания электрического тока в цепи, процесс механического перемещения тела, процесс распространения света и т. д. Информация представляется (отражается) значением одного или нескольких параметров физического процесса (сигнала), либо комбинацией нескольких параметров.

Сигнал называется непрерывным, если его параметр в заданных пределах может принимать любые промежуточные значения. Сигнал называется дискретным, если его параметр в заданных пределах может принимать отдельные фиксированные значения.

Следует различать непрерывность или дискретность сигнала по уровню и во времени.

Наконец, все многообразие окружающей нас информации можно сгруппировать по различным признакам, т. е. классифицировать по видам. Например, в зависимости от области возникновения информацию, отражающую процессы и явления неодушевленной природы, называют элементарной, процессы животного и растительного мира — биологической, человеческого общества — социальной.

По способу передачи и восприятия различают следующие виды информации: визуальную — передаваемую видимыми образами и символами, аудиальную — звуками, тактильную — ощущениями, органолептическую — запахами и вкусом, машинную — выдаваемую и воспринимаемую средствами вычислительной техники, и т. д.

Понятие количества информации

Количеством информации называют числовую характеристику сигнала, отражающую ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала. Эту меру неопределенности в теории информации называют энтропией. Если в результате получения сообщения достигается полная ясность в каком-то вопросе, говорят, что была получена полная или исчерпывающая информация и необходимости в получении дополнительной информации нет. И, наоборот, если после получения сообщения неопределенность осталась прежней, значит, информации получено не было (нулевая информация).

Приведенные рассуждения показывают, что между понятиями информация, неопределенность и возможность выбора существует тесная связь. Так, любая неопределенность предполагает возможность выбора, а любая информация, уменьшая неопределенность, уменьшает и возможность выбора. При полной информации выбора нет. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределенность.

Пример. Человек бросает монету и наблюдает, какой стороной она упадет. Обе стороны монеты равноправны, поэтому одинаково вероятно, что выпадет одна или другая сторона. Такой ситуации приписывается начальная неопределенность, характеризуемая двумя возможностями. После того, как монета упадет, достигается полная ясность и неопределенность исчезает (становится равной нулю).

Приведенный пример относится к группе событий, применительно к которым может быть поставлен вопрос типа «да-нет». Количество информации, которое можно получить при ответе на вопрос типа «да-нет», называется битом (англ. bit — сокращенное от binary digit — двоичная единица). Бит — минимальная единица количества информации, ибо получить информацию меньшую, чем 1 бит, невозможно. При получении информации в 1 бит неопределенность уменьшается в 2 раза. Таким образом, каждое бросание монеты дает нам информацию в 1 бит.

В качестве других моделей получения такого же количества информации могут выступать электрическая лампочка, двухпозиционный выключатель, магнитный сердечник, диод и т. п. Включенное состояние этих объектов обычно обозначают цифрой 1, а выключенное — цифрой 0.

Рассмотрим систему из двух электрических лампочек, которые независимо друг от друга могут быть включены или выключены. Для такой системы возможны следующие состояния:

Лампа А 0 0 1 1

Лампа В 0 1 0 1

Чтобы получить полную информацию о состоянии системы, необходимо задать два вопроса типа «да-нет» — по лампочке А и лампочке В соответственно. В этом случае количество информации, содержащейся в данной системе, определяется уже в 2 бита, а число возможных состояний системы — 4. Если взять три лампочки, то необходимо задать уже три вопроса и получить 3 бита информации. Количество состояний такой системы равно 8 и т. д.

Связь между количеством информации и числом состояний системы устанавливается формулой Хартли:

i=log2N,

где i — количество информации в битах; N —. число возможных состояний. Ту же формулу можно представить иначе:

N =2i.

Группа из 8 битов информации называется байтом. Если бит — минимальная единица информации, то байт ее основная единица. Существуют производные единицы информации: килобайт (кбайт, кб), мегабайт (Мбайт, Мб) и гигабайт (Гбайт, Гб).

1 кб =1024 байта - 210 (1024) байтов.

1 Мб = 1024 кбайта = 220(1024 x 1024) байтов.

1 Гб = 1024 Мбайта - 230 (1024х1024 х 1024)байтов.

Эти единицы чаще всего используют для указания объема памяти ЭВМ.

Свойства информации

Одним из важнейших параметров информации является её адекватность, т.е. степень соответствия создаваемого с помощью полученной информации образа реальному объекту (процессу, явлению). Различаются три формы адекватности информации: синтаксическая, семантическая и прагматическая[2].

1.Синтаксическая адекватность отображает формально-структурные характеристики информации и не затрагивает её смыслового содержания.

2. Семантическая (смысловая) адекватность определяет степень соответствия информации об объекте самому объекту.

3. Прагматическая (потребительская) адекватность отражает отношение информации и её потребителя. Прагматический аспект связан с ценностью, полезностью использования информации потребителем для достижения поставленной цели.

Меры информации. Информация (в смысле данных) всегда связана с материальным носителем: это может быть сигнал в любой материальной форме, числовой, символьный код на печатной основе и т.д. Поскольку, любой материальный объект можно измерить, то это относится и к информации. Что же в ней можно измерить? Во-первых, количественно синтаксическую форму адекватности информации реальному объекту. Степень адекватности описываемого объекта зависит от количества слов (символов), затраченных на описание модели объекта. Поскольку, каждый символ естественного языка можно закодировать одним байтом (8 бит), то легко вычислить полный объём информации, связанный с описанием любого объекта, процесса, явления. Это так называемый алфавитный подход измерения количества информации.

Есть другой количественный подход - кибернетический, который учитывает ценность информации(прагматическая адекватность). Впервые он был предложен в работах К.Шеннона [6] и Н.Винера [7]. Изучая системы передачи информации, К.Шеннон пришёл к выводу, что каждое элементарное сообщение на выходе системы уменьшает неопределённость исходного множества сообщений, при этом смысловой аспект сообщения не имеет никакого значения. За единицу количества информации было предложено принять "количество информации, передаваемое при одном выборе между равновероятными альтернативами". Эта наименьшая единица информации называется бит. Информация в один бит уменьшает неопределённость информационной системы в 2 раза. Для вычисления средней величины количества информации, связанного с положительным исходом некоторого события x из множества m событий К.Шеннон предложил формулу: Hx =−Σpi log pi, где pi -вероятность i-го события. Эта формула характеризует энтропию (меру неопределённости) системы. Изначально это понятие появилось в физике и характеризует оно степень неупорядоченности, т.е. неопределённости микросостояния, в котором система (например, термодинамическая) может находиться в данный момент времени. Значение Hx достигает максимума для равновероятных событий, т.е. при pi = 1∕m формула К.Шеннона упрощается: Hmax = −log p = log m (формула Р.Хартли). Пример: Рассмотрим систему с 256 возможными состояниями, например расширенную кодовую таблицу символов, тогда Hmax будет равно 8 битам (log2256 = 8). Другими словами, восемь бит достаточно, чтобы точно описать исход любого события (например, выборку определённого символа из таблицы).

Содержательный (субъективный) подход. Содержание информации кроме количественного (объективного) параметра имеет ещё и семантическую (смысловую) характеристику, которая определяется способностью пользователя понимать поступившее сообщение. Эта способность зависит от тезауруса пользователя, т.е. совокупности сведений и знаний, которыми располагает пользователь. Если тезаурус пользователя близок к нулю, то любая новая информация им не воспринимается (он её не понимает) и в этом случае семантическая компонента информации для него равна нулю. Если поступившая информация не даёт ему новые (полезные) знания, то и в этом случае семантическая информация также равна нулю. Максимальное значение семантической информации пользователь воспринимает в случае, когда поступившая информация понята пользователем и несёт ему новые сведения, знания. Таким образом, одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного.