- •Теория информации. Лекция 1.(14.02.12)
- •Лекция №2. (21.02.12)
- •Каналы связи и их классификация:
- •Лекция 3.(28.02.12)
- •Лекция 4. (06.03.12)
- •Цифровая обработка сигналов.
- •Лекция 5. (13.03.12)
- •Лекция 6. (27.03.12)
- •Лекция 7. (03.04.12)
- •Интерполяция на основе дискретного преобразования Фурье.
- •Лекция 8. (10.04.12)
- •Лекция 9. (17.04.12)
Теория информации. Лекция 1.(14.02.12)
Кибернетика – совокупность законов и направленных действий, наука об управлении.
Информация – атрибут, совокупность сведений, необходимых для обеспечения целенаправленных действий во всех сферах человеческой деятельности.
Любое управление – информационный процесс.
Подходы:
Философский
Управленческий
Технический
Правовой
Информация – сведений и данные вне зависимости от формы их представления
Информатика – научно – техническое направление/отрасль знаний, предметом которого является системное изучение информации в интересах информационного обеспечения деятельности общества.
Информатизация – процесс практической реализации достижения информатики.
Жизненный цикл информации
Получение->Передача->Хранение->Преобразование/Обработка->Использование
Подходы к определению количества информации:
Статистический (оценка с точки зрения меры неопределенности, при этом не затрагивается сам смысл информации)
Семантический (учет целостности/полезности информации(важен процесс старения))
Структурный (для сравнения берутся элементарные структурные единицы, считается их сумма)
Лекция №2. (21.02.12)
Пусть в алфавите m символов, n длина сообщения.
N= – размер сообщения.
Хартли : I = – количество информации
I = = = – формула Хартли, первая формула теории информации, 1928 год.
При m=2 I= = 1 бит информации
!!! Символы в алфавите должны быть равновероятны!!!
I= [Хартли]= [Нат]
Если буквы в алфавите не равновероятны, то формула Хартли неприменима.
1946 г. Шеннон:
Если символы равновероятны : I =
I = – формула Шеннона
H(A) – энтропия – количество информации на 1 символ, если в алфавите m символов и k-й символ появляется вероятностью . Формула Шеннона – обобщение формулы Хартли.
Энтропия – мера неопределенности в поведении источников или численно количество информации, которую переносит один символ при неравновероятном появлении символов.
Свойства энтропии:
Неотрицательна (H(A)=0
Максимальна, когда
Условная вероятность : вероятность того, что за последует : .
Условная энтропия:
H(A/ ) =
Среднее количество информации, переносимое одним символом при условии ??? связей.
Коэффициент избыточности
- максимальное количество информации, - количество информации с учетом связей
Для европейских языков r 0.5
– производительность источника, бит/с.
H*W= R – скорость передачи информации
W- скорость образования символов, Max R – пропускная способность канала.
Основная задача – согласовать пропускную способность канала и производительность источника.
Процесс передачи информации
Источник => посл. символов=> Передатчик => сигнал=> Канал связи + помехи => Приемник => Потребитель
Канал - совокупность средств обеспечения передачи электрических сигналов от источника сообщения к отправителю.
Помехи искажаются сигнал – а значит принятое сообщение как правило отличается от сигнала. Помехоустойчивость системы - способность передавать информацию с заданной вероятностью при воздействии помех.
Степень соответствия – критерий вероятности
X(t)->Y(t): Y(t) = X(t) + e(t) <= помеха