Часть 1.
1.Страница произвольного текста:
Основоположниками теории информации являются Котельников
Колмогоров Хартли Шеннон. Понятие информации является одним из фундаментальных в современной науке. Информация наряду с веществом и энергией рассматривается в качестве важнейшей сущности мира. Однако если формально определить понятие информации то сделать это довольно сложно. В простейшем понимании термин информация ассоциируется с некоторыми сведениями данными записями знаниями. Информация передается в виде сообщений определяющих форму и представление информации. Примеры сообщений музыкальное произведение текст телепередача данные о физическом процессе и т.д. Предполагается что есть источник и получатель информации. Сообщение от источника к получателю передается посредством какой либо среды являющейся каналом связи. При передаче речевого сообщения каналом связи является воздух по которому распространяются звуковые волны. В случае письменного сообщения каналом является лист бумаги. Человеку свойственно субъективное восприятие информации через набор ее свойств важность достоверность своевременность доступность. Однако одно и тоже сообщение для различных пользователей несет разную информацию. Использование терминов больше или меньше информации подразумевает некую возможность измерения количества информации. Такое измерение количества информации должно быть объективным независимо от субъективного восприятия. Способом измерения количества информации является теорема Шеннона.
2. Таблица 1 – Расчет энтропии без учета корреляционных связей.
|
Символ ai |
N(ai) |
P(ai) |
P(ai)*log2(P(ai)) |
|
А |
74 |
0,050581 |
-0,065553611 |
|
Б |
15 |
0,0102529 |
-0,020394597 |
|
В |
54 |
0,03691046 |
-0,052887171 |
|
Г |
7 |
0,00478469 |
-0,011101178 |
|
Д |
30 |
0,02050581 |
-0,034616331 |
|
Е |
127 |
0,08680793 |
-0,092141461 |
|
Ё |
0 |
0 |
0 |
|
Ж |
7 |
0,00478469 |
-0,011101178 |
|
З |
21 |
0,01435407 |
-0,026454905 |
|
И |
119 |
0,08133971 |
-0,088635671 |
|
Й |
12 |
0,00820232 |
-0,017110565 |
|
К |
29 |
0,01982228 |
-0,033754302 |
|
Л |
45 |
0,03075871 |
-0,046508156 |
|
М |
54 |
0,03691046 |
-0,052887171 |
|
Н |
95 |
0,06493506 |
-0,077111735 |
|
О |
140 |
0,09569378 |
-0,09752309 |
|
П |
28 |
0,01913876 |
-0,032882034 |
|
Р |
63 |
0,0430622 |
-0,058818823 |
|
С |
76 |
0,05194805 |
-0,066723674 |
|
Т |
69 |
0,04716336 |
-0,06255726 |
|
У |
21 |
0,01435407 |
-0,026454905 |
|
Ф |
18 |
0,01230349 |
-0,023499312 |
|
Х |
4 |
0,00273411 |
-0,007008023 |
|
Ц |
16 |
0,01093643 |
-0,021447703 |
|
Ч |
16 |
0,01093643 |
-0,021447703 |
|
Ш |
4 |
0,00273411 |
-0,007008023 |
|
Щ |
10 |
0,00683527 |
-0,01480003 |
|
Ь |
20 |
0,01367054 |
-0,025484817 |
|
Ы |
12 |
0,00820232 |
-0,017110565 |
|
Ъ |
3 |
0,00205058 |
-0,005512214 |
|
Э |
2 |
0,00136705 |
-0,003915536 |
|
Ю |
8 |
0,00546822 |
-0,012369949 |
|
Я |
45 |
0,03075871 |
-0,046508156 |
|
Точка |
17 |
0,01161996 |
-0,022482243 |
|
Пробел |
202 |
0,13807245 |
-0,118727531 |
|
Общее количество |
1463 |
1 |
-4,393381519
|
Общее количество символов равно (N): 1463 шт.
P(ai)=N(ai)/N
Энтропия
текста равна H(A):
-4,393381519