- •Оглавление
- •Предисловие
- •Введение
- •§ 1.1. Предварительные замечания
- •§ 1.2. Роль системных представлений в практической деятельности
- •§ 1.3. Внутренняя системность познавательных процессов
- •§ 1.4. Системность как всеобщее свойство материи
- •§ 1.5. Краткий очерк истории развития системных представлений
- •Заключение
- •Литература
- •Богданов а.А. Всеобщая организационная наука (тектология). В 3 т. М., 1905–1924. Т. 3.
- •Пригожин и., Стенгерс и. Порядок из хаоса. – м.: Прогресс, 1986.
- •Упражнения
- •§ 2.1. Широкое толкование понятия модели
- •§ 2.2. Моделирование – неотъемлемый этап всякой целенаправленной деятельности
- •§ 2.3. Способы воплощения моделЕй
- •Insight озарение
- •§ 2.4. Условия реализации свойств моделей
- •§ 2.5. Соответствие между моделью и действительностью: различия
- •§ 2.6. Соответствие между моделью и действительностью: сходство
- •§ 2.7. О динамике моделей
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 3.1. Множественность моделей систем
- •§ 3.2. Первое определение системы
- •Inputs входы (системы)
- •§ 3.3. Модель “черного ящика”
- •§ 3.4. Модель состава системы
- •§ 3.5. Модель структуры системы
- •§ 3.6. Второе определение системы. Структурная схема системы
- •§ 3.7. Динамические модели систем
- •Vertex вершина (графа)
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 4.1. Искусственные системы и естественные объекты
- •§ 4.2. Обобщение понятия системы. Искусственные и естественные системы
- •§ 4.3. Различные классификации систем
- •Variable переменная
- •§ 4.4. О больших и сложных системах
- •Заключение
- •Литература
- •Месарович м. Теория систем и биология. Точка зрения теоретика.- в сб.: Теория систем и биология – м.: Мир, 1971.
- •Раппопорт а. Математические аспекты абстрактного анализа систем. – в сб.: Исследования по общей теории систем. – м.: Мир, 1969.
- •Упражнения
- •Вопросы для самопроверки
- •§ 5.1. Информация как свойство материи
- •§ 5.2. Сигналы в системах
- •Information
- •Interference
- •§ 5.3. Случайный процесс – математическая модель сигналов
- •§ 5.4. Математические модели реализаций случайных процессов
- •§ 5.5. О некоторых свойствах непрерывных сигналов
- •§ 5.6. Энтропия
- •Independent независимый
- •§ 5.7. Количество информации
- •Interaction взаимодействие
- •§ 5.8. Об основных результатах теории информации
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 6.1. Эксперимент и модель
- •§ 6.2. Измерительные шкалы
- •Interval
- •§ 6.3. Расплывчатое описание ситуаций
- •§ 6.4. Вероятностное описание ситуаций. Статистические измерения
- •§ 6.5. Регистрация экспериментальных данных и ее связь с последующей их обработкой
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 7.1. Многообразие задач выбора
- •§ 7.2. Критериальный язык описания выбора
- •§ 7.3. Описание выбора на языке бинарных отношений
- •§ 7.4. Язык функций выбора
- •§ 7.5. Групповой выбор
- •Voting голосование
- •§ 7.6. Выбор в условиях неопределенности
- •§ 7.7. О выборе в условиях статистической неопределенности
- •§ 7.8. Выбор при расплывчатой неопределенности
- •§ 7.9. Достоинства и недостатки идеи оптимальности
- •§ 7.10. Экспертные методы выбора
- •§ 7.11. Человеко-машинные системы и выбор
- •§ 7.12. Выбор и отбор
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 8.1. Анализ и синтез в системных исследованиях
- •§ 8.2. Модели систем как основания декомпозиции
- •§ 8.3. Алгоритмизация процесса декомпозиции
- •Ignorance незнание, невежество
- •§ 8.4. Агрегирование, эмерджентность, внутренняя целостность систем
- •§ 8.5. Виды агрегирования
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 9.1. Что такое системный анализ
- •§ 9.2. Формулирование проблемы
- •§ 9.3. Выявление целей
- •§ 9.4. Формирование критериев
- •Values ценности
- •§ 9.5. Генерирование альтернатив
- •§ 9.6. Алгоритмы проведения системного анализа
- •§ 9.7. Претворение в жизнь результатов системных Исследований
- •Implementation внедрение (результатов)
- •§ 9.8. О специфике социальных систем
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •Краткий словарь специальных терминов
- •Contents
- •Оглавление
PROBABILITY
вероятность
SYMBOL
символ
ENTROPY
энтропия
ERGODICITY
эргодичность
Важным
шагом в построении теории информации
является введение количественной меры
неопределенности – энтропии.
Оказывается, что функционал (1) обладает
качествами, которые логично ожидать
от меры неопределенности, и, наоборот,
единственным функционалом с такими
свойствами является именно функционал
энтропии. Обобщение понятия энтропии
на непрерывные случайные величины
приводит к выводу, что такое
обобщение – дифференциальная
энтропия – возможно лишь как
относительная мера.
Оказывается,
что энтропия связана с глубокими
свойствами случайных процессов.
Например, для дискретных процессов
имеет место свойство асимптотической
равновероятности реализаций из
высоковероятной группы.
Independent независимый
. (4)
——————————
* Существование
такого предела для любого стационарного
процесса можно строго доказать.
. (5)
На множестве { С } можно задать любую числовую функцию fn(С), которая, очевидно, является случайной величиной. Определим fn(С) с помощью соотношения
.
Математическое ожидание этой функции
,
откуда следует, что
, и (6)
Это соотношение, весьма интересное уже само по себе, является, однако, лишь одним из проявлений гораздо более общего свойства дискретных эргодических процессов. Оказывается, что не только математическое ожидание величины fn(С) при n имеет своим пределом Н, но сама эта величина fn(С) стремится к Н при n. Другими словами, как бы малы ни были Е > 0 и ? > 0, при достаточно большом n справедливо неравенство [9]
, (7)
т.е. близость fn(С) к Н при больших n является почти достоверным событием.
Для большей наглядности сформулированное фундаментальное свойство случайных процессов обычно излагают следующим образом. Для любых заданных E > 0 и ??> 0 можно найти такое n0, что реализации любой длины n > n0 распадаются на два класса:
группа реализаций, вероятности Р(С) которых удовлетворяют неравенству
; (8)
группа реализаций, вероятности которых этому неравенству не удовлетворяют.
Так как согласно неравенству (7) суммарные вероятности этих групп равны соответственно 1 – ? и ?, то первая группа называется высоковероятной, а вторая – маловероятной.
Это свойство эргодических процессов приводит к ряду важных следствий, из которых три заслуживают особого внимания.
10. Независимо от того, каковы вероятности символов и каковы статистические связи между ними, все реализации высоковероятной группы приблизительно равновероятны (см. формулу (8)).
В связи с этим фундаментальное свойство иногда называют “свойством асимптотической равнораспределенности”. Это следствие, в частности, означает, что по известной вероятности Р(С) одной из реализаций высоковероятной группы можно оценить число N1 реализаций в этой группе:
.
20. Энтропия Нn с высокой точностью равна логарифму числа реализации в высоковероятной группе:
Нn = nН = logN1. (9)
30. При больших n высоковероятная группа обычно охватывает лишь ничтожную долю всех возможных реализаций (за исключением случая равновероятных и независимых символов, когда все реализации равновероятны и Н = log m).
Действительно, из соотношения (9) имеем N1 = аnH, где а – основание логарифма. Число N всех возможных реализаций есть N = mn = аnlogm. Доля реализаций высоковероятной группы в общем числе реализаций выражается формулой
N1/N=a–n(logm – Н), (10)
и при Н < logm эта доля неограниченно убывает с ростом n. Например, если a = 2, n = 100, Н =2,75, m = 8, то N1/N = 2–25 ~ = (3·107)-1, т.е. к высоковероятной группе относится лишь одна тридцатимиллионная доля всех реализаций!
Строгое доказательство фундаментального свойства эргодических процессов сложно и здесь не приводится. Однако следует отметить, что в простейшем случае независимости символов это свойство является следствием закона больших чисел. Действительно, закон больших чисел утверждает, что с вероятностью, близкой к 1, в длинной реализации i-й символ, имеющий вероятность рi, встретится примерно nрi раз. Следовательно, вероятность реализации высоковероятной группы есть , откуда – logР(С) = – n, что и доказывает справедливость фундаментального свойства в этом случае.
Подведем итог Связав понятие неопределенности дискретной величины с распределением вероятности по возможным состояниям и потребовав некоторых естественных свойств от количественной меры неопределенности, мы приходим к выводу, что такой мерой может служить только функционал (1), названный энтропией. С некоторыми трудностями энтропийный подход удалось обобщить на непрерывные случайные величины (введением дифференциальной энтропии (3)) и на дискретные случайные процессы. |
Summary Linking the concept of the uncertainty of a discrete random variable and the form of its probability distribution, and demanding certain reasonable properties from the quantitative measure of uncertainty, we arrive at the conclusion that such a measure may only be the functional (1), which is called entropy. The entropy approach may be extended (with some difficulty) to continuous random variables – by the introduction of differential entropy (3) – as well as to random processes (we have considered here only discrete processes). |