Лекция 10 и11. Принцип максимума энтропии
Использование вариационных принципов термодинамики и, в частности, принципа максимума энтропии Больцмана давно зарекомендовали себя в исследованиях таких сложных нефизических систем, как экономические, относящиеся ближе к гуманитарным в силу превалирующего влияния в них поведения человека. Решающим фактором здесь является то, что каждый человек (или фирма) волей или неволей вносит, причем каждый на своем уровне социальной лестницы в поведение системы генерации интеллектуальной собственности свою лепту, что делает эту системы близкой по совокупному поведению всех этих микровоздействий с термодинамической системой. Практика использования не только принципа Больцмана, но и других принципов и законов говорит о том, что такой подход оправдан и позволяет получать для практики полезные результаты. Необходимо только выполнять присущие каждому их этих законов и принципов ограничения и предписания.
Принцип максимума энтропии гласит:
из заданного состояния система переходит в такое состояние, для которого при заданном уровне потребления ресурсов степень структурированности системы (сложности, разнообразия, структурной информации, степень самоорганизации и т.п.) стремится к максимуму,
и в самой общей постановке записывается в виде равенства [14, 6]:
,
при наличии ограничений:
, (1)
Здесь
х – параметр, характеризующий величину продуктивности производства МЭЗ наукоемким предприятием за выбранный период;
Н – энтропия системы;
f(x) – искомое распределение истинности структуры ФИЛ на множестве х, характеризующее новое состояние истинности системы после перехода из заданного состояния истинности;
Е(х) – ресурс системы, затрачиваемый на производство ФИЛ на множестве х;
Е – общий суммарный ресурс системы.
Поясним, что энтропию системы можно рассматривать также и как количество информации, связанной со структурой системы, поэтому введенный экстремальный принцип можно интерпретировать и в информационных терминах [15].
Кроме того энтропия может рассматриваться как мера “структурированности” некоторого состояния или мера “удаленности” структуры состояния от его бесструктурного аналога [16].
При этом, как следует из работ [16] принцип максимума энтропии эквивалентен принципу максимальной (обобщенной) экспансии системы, т.е. ее "количественному" росту, что для нас с позиций роста количества НЗ и роста их присутствия на рынке является чрезвычайно важным, судьбоносным и определяющим.
Далее рассмотрим решение (1) при следующих условиях.
Известно [6], что среднее число генерируемых МЭЗ x за время t возрастает по экспоненте (это, в частности, и есть одна из характеристик нелинейности рассматриваемой топологии):
x = e ,
где φ - параметр интенсивности производства МЭЗ для наукоемкого предприятия в рассматриваемом научном направлении.
Откуда
.
Если считать, что время t для получения истинных МЭЗ и есть ресурс Е(х), то можно записать
(2)
Тогда общее решение задачи (1) имеет вид
,
где λ – множитель Лагранжа,
Z – вспомогательная величина, имеющая смысл статистической суммы, определяемой из граничных условий для средних ресурсов и условий нормировки.
Положим нижний предел х0 =1 для величины х, так как минимальное значение количества МЭЗ есть 1. С учетом этого величина ресурсов Е равна
в результате получаем
, (2)
где параметр .
Выражение (2) есть известный закон Ципфа-Парето, т.е. распределение истинности на множестве МЭЗ есть степенной закон (2).
В процессе формирования ФИЛ число истинных МЭЗ увеличивается. Обозначим это число через I. Соответственно, увеличение I приводит к тому, что в ФИЛ уменьшается количество МЭЗ, имеющих истинность, меньшую единице. Это значит, что сам ФИЛ стремится к детерминированности и одновременно – к симметрии с ФИП. При значении I, равном объему выборки N, т.е. при I = N ФИЛ становится полностью детерминированным и симметричным ФИП. В этом случае генерация дополнительных МЭЗ уже не вносит новизны и достигается насыщение инновационного процесса. Это состояние длится до того момента, пока не появляется новая парадигма знаний, приводящая к смене ФИП, и процесс диалектически повторяется снова и снова.
Для количественного описания данного процесса воспользуемся формулой энтропии, предложенной в [14, 6]. Формула энтропии записывается в виде:
(3)
Найдем значение α .
Исходя их условия, что в пределе, когда ФИЛ достигает полной симметрии с ФИП, его энтропия H = 0, получаем:
,
откуда α = 3,59 > 2.
Это означает, что распределение f(x) – гауссово, т.е. имеет сходящиеся моменты первого и второго порядков.
Гауссовость распределения f(x) имеет для нас принципиальное значение. Именно это свойство гауссовости определяет нам основные качества истинности:
истинность обладает свойством статистической устойчивости. Это означает, что истинность может формироваться в результате договора или голосования. Так, в обществе очень часто определенные каноны признаются истинными, потому что так считает большинство.
Примеры: красный цвет мы считаем красным, потому что мы так договорились; NN - хороший человек, потому что так считает большинство людей, которые с ним знакомы.
истинность знаний может меняться с точностью до наоборот.
Примеры: представление «Земля плоская» сменилось представлением «Земля круглая»; хороший человек NN стал плохим человеком (после какого-либо события).
истинность неаддитивна, т.е. истинности не складываются
Примеры: «сегодня 5 число» - событие истинное, «сегодня четверг» - событие тоже истинное, тогда событие «сегодня четверг и 5 число» не есть вдвое истиннее, чем каждое из них в отдельности.
Перечисленные свойства истинности нам помогают понять следующий простой факт: знания (даже научные) обладают очень сильной динамикой изменения, трансформации, неоднозначности, ложной правдоподобности, а также возможностями злоумышленного искажения истинности, манипулирования и т.д. и т.п.
Поэтому потребность использования знаний приобретает необходимость расходовать большие средства на установление истинности, защиты знаний от потери, искажения и несанкционированных действий, проверки и актуализации, купли-продажи и других действий.
В соответствии с [6] выразим формулу энтропии H в более общем виде с учетом её зависимости от α, х0 и I:
Учитывая, что α = 3,59, х0 =1 получаем формулу:
,
или с учетом нормировки величины энтропии на единицу
Н(I) = 4,59 I -3,59 , (4)
которая выражает величину энтропии Н от единственной переменной, а именно – от количества истинных МЭЗ, т.е. от I .
Данное обстоятельство резко упрощает вычислительную сторону рассматриваемой модели. Графически зависимость (4) представлена на рис. 4.1.
Подставив в (4) значение минимальное значение I = 2, получим Н0=0,38, что соответствует известной пропорции золотого сечения [17, 18].
На этом же рис. 4.1. показана зависимость E(I), которая определяет величину затраченных ресурсов, необходимых для получения I истинных фрагментов ФИЛ.
∆F1,2
H(I) 0,38
Рис 4.1. Диаграммы, иллюстрирующие процесс стремления фрагментарного ФИЛ к симметрии с целостным ФИП
По представленным на рис. 4.1. графикам можно сделать следующие важные выводы:
1. Значение I = 1 соответствует ситуации, когда ФИЛ еще не сформировался, и ФИЛ представляет собой некоторое не структурированное по истинности множество фрагментов, т.е. ФИЛ хаотичен. Но тем не менее в нем уже присутствует единственный истинный элемент. Причем затраты на его создание равны нулю: Е(1) = 0. Эта обстоятельство хорошо известна из практики: сколько бы ни было мало истинных элементов в описании параметров экономических систем, всегда найдется один, истинность которого равна максимуму, т.е. единице.
2. Значение I = 2 соответствует ситуации, когда ФИЛ начинает формироваться в результате аналитической деятельности левого полушария, т.е. у него появляется новое качество – структура истинности. Значение энтропии здесь равно 0,38, т.е. золотой пропорции. Можно сказать, что золотая пропорция является количественной мерой некоторой качественной грани, сопровождающей процесс перехода истинности от хаоса к порядку. При этом на создание структуры второго истинного фрагмента требуется произвести некоторые необходимые затраты: Е(2) = Е0.
ЗОЛОТАЯ ПРОПОРЦИЯ – это число, получающееся
а) в результате деления единичного отрезка в гармоничном отношении:
,
откуда Х = 0,618…
б) как предел отношения Lim Аn/ Аn-1 = 0,618… при n → ∞.
в последовательности чисел Фибоначчи:
Аn = Аn-1 + Аn+2.
Если взять первые два числа 0 и1, то последовательность чисел Фибоначчи записывается в виде:
0, 1 ,1, 2, 3, 5, 8, 13, 21 ,34, 55, 89, 144,…
У золотой пропорции имеются несколько замечательных свойств, которые в совокупности формируют некоторый системообразующий инструментарий, подаренный нам природой:
свойства фрактала, т.е. самоподобия, которое очевидно из определения пропорции отрезков со всеми вытекающими из свойств фрактала возможностями;
свойство максимальной простоты возникновения. Числа Фибоначчи получаются в результате операции сложения, которая существует в природе как данность: мелкие частицы складываются в более крупные за счет элементарного суммирования. Парадоксально, но примитивизм процесса лежит в основе совершенства его результата;
наличие минимальной памяти. Это свойство вытекает из алгоритма чисел Фибоначчи: каждое последующее есть результат сложения двух предыдущих;
устойчивость, которую можно продемонстрировать, если в момент получения числа, например, 8 «испортить» эту последовательность и прибавить к числу 8 дополнительно какое-либо другое число, например, 1000. Тогда последовательность будет выглядеть так:
0, 1, 1, 2, 3 ,5, 1008, 1013, 2021, 3034, 5055, 8089, 13144, …
В итоге появилось как бы две последовательности Фибоначчи: одна для «больших» чисел – тысяч, а внутри них – продолжение последовательности для первоначальных «малых» чисел. И обе эти последовательности вместе и каждая в отдельности подчиняются свойствам золотой пропорции.
минимум затрат на обеспечение тех структур, которые формируются по принципу золотой пропорции. У нас это хорошо видно из графика, приведенного е на рис. 4.1. Здесь уровень минимальный уровень затрат Е0 соответствует максимальному значения энтропии 0,38, являющейся золотой пропорцией (0,38 = 1- 0,62).
Указанные свойства золотой пропорции нами будут использованы в дальнейших исследованиях.
История концепции золотой пропорции уходит в древние времена. Многие ученые приложили усилия, чтобы понять, развить и приложить к практическим задачам эту пропорцию. Достаточно назвать такие имена, как Эвклид, Пифагор, Фидий, Фибоначчи, Л. да Винчи.
В настоящее время эту науку продолжают такие известные ученые, как Стахов А.П., Сороко Э.М.. Стахов А.П. [19] разработал целое перспективное научное направление и создал крупную научную школу международного масштаба в области фибоначчиевой математики. Для знакомства с этими работами можно рекомендовать очень интересный сайт: www.trinitas.ru.
3. Значения I > 2 соответствуют ситуации, когда ФИЛ все более и более структурируется, а затраты на создание этой структуры растут по логарифмической зависимости.
4. В пределе при I = N рост истинных частей ФИЛ достиг своего максимума, значение энтропии Н стало равным нулю, что означает достижения полной симметрии ФИЛ и ФИП, что обычно заканчивается эмоциональным сопровождением процесса в виде некоторого чувственного переживания, знакомого всем представителям умственного труда.
Иллюстрация указанных выше случаев приведена на рис. 4.2.
Рис 4.2. Иллюстрация процесса генерации НЗ в виде области незнания, области знания относительного и абсолютного, и границы между ними (минимальное знание)
На этом данный цикл генерации МЭЗ заканчивается, чтобы начаться снова, но уже при появлении новой парадигмы знаний.
Ведь в структуре ФИЛ каждый его фрагмент, рассматриваемый на предмет выявления истинности, в свою очередь также формируется по той же логике, как и весь ФИЛ: рассматривая его новый сначала ФИП, а затем расчленяя его на более мелкие подфрагменты, получаем новый, более глубокий уровень понимания. В итоге получается многоуровневая ветвящаяся, а в целом – фрактальная топология формирования истинных НЗ, у которой на каждом уровне происходят процессы, отраженные в вышеизложенных выкладках.
Отсюда следует ответ на поставленный ранее вопрос относительно необходимости существания избыточности у эволюционных процессов, а именно: для обеспечения границы между незнанием и минимальным знанием. Эта граница имеет Н = 0,38, то есть имеет количественную энтропийную меру, равную золотой пропорции.
Управление с использованием НЗ на основе топологии его формирования начинается с точки I = 2. В этой точке определенность НЗ по энтропийной мере равна 0,62. Следовательно при таких условиях и управление возможно по принципу золотой пропорции. В процессе увеличения истинности НЗ (I =3, 4….) возможен постепенный переход к управлению по классическому оптимизационному принципу.