1. Ақпараттар теориясының негізгі міндеттері.

Ақпараттар теориясы – ақпаратты тасымалдаудың сенімді және тиімді тәсілін зерттейтін ғылыми пән. Ақпараттар теориясының негізгі міндеті – оптималды байланыс жүйесінің принциптерін құру. Оптималды жүйе – жүйенің параметрлерінің (қуаттылығы, жиілік жолағы және т.б.) ең кіші мәндерінде берілген ақиқаттылықты қамтамассыз етеді немесе берілген параметрлерде ең үлкен ақиқаттылықты қамтамасыз етеді.

Бұл жағдайда ақпараттар теориясының міндеттері төмендегідей анықталады:

1. Ақпараттар көзі құрастыратын ақпараттың санын өлшеу. Ақпарат санын есептеу арқылы байланыс жүйесіне деген талапты тұжырымдауға болады;

2. Хабарламаны сипаттаудың қысқартылған тәсілдерін, яғни жалпыланған кванттау және статистикалық кодтауды құрастыру;

3. Берілген параметрлері мен байланыс жүйелері арқылы жіберілетін ақпарат санының ең үлкен санын анықтау;

4. Теорияда көрсетілген, шектелген сан мен нақты байланыс жүйелері арқылы жіберілетін хабарламаның санын салыстыру.

2. Байланыс жүйесі ұғымы.

Жіберу орнынан қабылдау орнына ақпаратты тасымалдау байланыс жүйесі деп аталынатын техникалық құрылғылар жиынтығымен іске асырылады. Байланыс жүйесі таратқыштан, байланыс жүйесінен және қабылдағыштан тұрады. Таратқыш хабарламаны сигналға ауыстырады. Сигнал дегеніміз өзгеріп тұратын физикалық шама (қандайда бір физикалық жүйенің жағдайы). Әдетте электромагниттік өріспен өзгеріп тұратын, электрлік сигналмен байланысты болады. Байланыс жүйесінің барлық звеноларында кедергі болады (әдетте оларды шартты түрде тек байланыс желістеріне жатқызады. Кедергінің әсерінің нәтижесінде қабылданған сигнал жіберілген сигналдан өзгеше болады. Шығарылған хабарламаның алғашқы хабарламаға сәйкестік өлшемі ақиқаттылық деп аталынады. Ақиқаттылықты санмен өрнектеуге мүмкіндік беретін, ақиқаттылық критериі хабарламаны жіберуіші мен хабарламаны қабылдаушының қасиеттерімен анықталады. Себебі ақиқаттылық критериі сөзді тасымалдағанда анықтылық, ал телемеханикада телеөлшеудің орташаквадраттық қателік ауытқуының қызметін атқаруы мүмкін және т.б. Кедергінің бар болуына қарамастан, байланыс жүйесі берілген ақиқаттылықты қамтамасыз етуі үшін әрекет жасауы керек. Байланыс жүйесінде кедергілер көп болған сайын, қажетті ақиқаттылықты табу қиынға соғады.

3. Энтропия түсінігі.

Шеннон энтропияны ансамблінен дискреттік қайнар көздің жағдайының анықталмаған таңдауының өлшемі ретінде анықтады.

(1.1)

Оны қайнар көздің жағдайына қатысты анықталмағандықты толығымен жойғанда алынатын ақпарат санының шамасы ретінде де қарастыруға болады. (1.1)-дегі логарифмнің негізі – өлшем бірлікті анықтайды. Негізі 2 болғанда – бит, 10 болғанда – дит, e болғанда – нат өлшем бірлігі болады. Қайнар көздің тең ықтималдықты жағдай кезінде Шеннон формуласы келесі түрде болады:

–Хартли формуласы

1.1-мысал. Екі дискретті кездейсоқ шаманың және ансамбльдері берілген. жәнеанықтаңыз.

Шешуі:

3. Хабарлама және сигнал түсінігі.

Хабарлама дегеніміз қандайда бір жағдайдың көрінісі. Хабарлама мысалы ретінде белгілі бір ретте орналасқан әріптер жиынтығы – текст болуы мүмкін. Телеграфияда, жіберушімен құрастырылған текст бір жерден, қажетті жерге жеткізіледі. Теледидарда жіберілетін объектілердің айқындылығының үлесуі, берілетін хабарлама болып табылады. Шығарылатын хабарлама – берілген үлестіруге жуығырақ сәйкес келетін, теледидарлық қабылдағыштың экранында айқындылықтың үлестірілуі. Хабарламаның басқа да мысалдары: 1) фототелеграмма, 2) телеөлшеулердің нәтижесі, 3) телебасқару жүйесіндегі командалар, 4) радиолакациядағы мақсаттық координаталар, 5) телефониядағы дыбысталатын сөз және т.б. Қабылдағыш деп шығарылған хабарламаға арналған объектіні айтамыз. Қабылдаушы адам (телефония, радиожеліс, телеграфия, теледидар және т.б.) немесе құрал (телебасқару және т.б.). Ақпаратты тасымалдау, хабарламаның бір рет қана шығарылуына алып келмейді. Ақпараттар теориясында өзгеріп тұратын хабарлама ағыны болады, олар: телеграммалар, командалар, теледидарлық кадрлар тізбегі және т.б. Аталмыш типтегі хабарламаның нақты тізбегін әртүрлі мүмкіндіктегі хабарлама жиынтығы түрінде қарастыруға болады. Мысалы, әртүрлі телеграммалар туралы айтуға болады (ескеретін жағдай, сөздер саны шектелген әртүрлі телеграммалар саны соңғы болып келеді, бірақ өте үлкен). Басқа мысал – әртүрлі теледидарлық кадрлар жиынтығы және т.б.

Сигнал дегеніміз өзгеріп тұратын физикалық шама (қандайда бір физикалық жүйенің жағдайы). Әдетте электромагниттік өріспен өзгеріп тұратын, электрлік сигналмен байланысты болады. Тасымалдау орнында туатын өрістің ауытқуы байланыс желісі деп аталынатын ортада таралады және қабылдау орнына жетеді. Табиғаты электромагниттік емес сигналдар да кездеседі (мысалы, гидроакустикалық жүйелерде). Қабылдағыш қабылданған сигналды, хабарлама шығару арқылы түрлендіреді.

3. Ақпаратты өлшеудің негізгі шамалары.

Ықтималдық және ақпарат.

Ықтималдық тұрғыдан ақпаратты кездейсоқ оқиғаның шығуы туралы хабарлама ретінде, кездейсоқ шама мен функцияның іске асыруы ретінде қарастыруға болады. Ал ақпарат саны аталмыш оқиғалардың, шамалардың, функциялардың априорлық ықтималдықтарына тәуелді етеді. Оқиғаларды сынақтардың мүмкін шығарылымдары ретінде қарастыруға болады. Барлық шығарылымдар ансамбльді, яғни оқиғаның шығарылым тобын құрайды.Өлшенілетін шаманың мәні

Ықтималдықтар

Энтропия

Шеннон энтропияны ансамблінен дискреттік қайнар көздің жағдайының анықталмаған таңдауының өлшемі ретінде анықтады.

(1.1)

Оны қайнар көздің жағдайына қатысты анықталмағандықты толығымен жойғанда алынатын ақпарат санының шамасы ретінде де қарастыруға болады. (1.1)-дегі логарифмнің негізі – өлшем бірлікті анықтайды. Негізі 2 болғанда – бит, 10 болғанда – дит, e болғанда – нат өлшем бірлігі болады. Қайнар көздің тең ықтималдықты жағдай кезінде Шеннон формуласы келесі түрде болады:

–Хартли формуласы

Шартты энтропия мен біріктіру энтропиясының анықтамасы

Ақпараттар теориясында шартты энтропия түсінігі төмендегідей өзара байланысты анықтағанда қолданылады:

а) кодталатын алфавит символдарымен (бір қайнар көзбен тізбектеліп таңдалатын жағдай арасында);

ә) байланыс каналдарымен ақпаратты тасымалдағанда жоғалтуларды анықтау үшін;

б) біріктіру энтропиясын есептеу үшін.

Егер – хабарлама көзінің еркін түрдегі жағдайы, – адресаттың еркін түрдегі жағдайы болса, онда дербес шартты энтропия қайнар көздің әрбір -ші жағдайында шартты энтропиясын анықтайды және келесі формуламен есептелінеді:

3. Ақпараттың статикалық өлшемі.

1. Ықтималдық және ақпарат.

Ықтималдық тұрғыдан ақпаратты кездейсоқ оқиғаның шығуы туралы хабарлама ретінде, кездейсоқ шама мен функцияның іске асыруы ретінде қарастыруға болады. Ал ақпарат саны аталмыш оқиғалардың, шамалардың, функциялардың априорлық ықтималдықтарына тәуелді етеді.

Оқиғаларды сынақтардың мүмкін шығарылымдары ретінде қарастыруға болады. Барлық шығарылымдар ансамбльді, яғни оқиғаның шығарылым тобын құрайды.

Өлшенілетін шаманың мәні

Ықтималдықтар

Энтропия

Шеннон энтропияны ансамблінен дискреттік қайнар көздің жағдайының анықталмаған таңдауының өлшемі ретінде анықтады.

(1.1)

Оны қайнар көздің жағдайына қатысты анықталмағандықты толығымен жойғанда алынатын ақпарат санының шамасы ретінде де қарастыруға болады.

(1.1)-дегі логарифмнің негізі – өлшем бірлікті анықтайды. Негізі 2 болғанда – бит, 10 болғанда – дит, e болғанда – нат өлшем бірлігі болады.

Қайнар көздің тең ықтималдықты жағдай кезінде Шеннон формуласы келесі түрде болады:

–Хартли формуласы (1.2)

Энтропия ансамбльден бір жағдайды таңдаудың орташа анықталмағандығын сипаттайды және тек қана ықтималдылық жағдайлармен анықталынады.

1.1-мысал. Екі дискретті кездейсоқ шаманың және ансамбльдері берілген. жәнеанықтаңыз.

Шешуі:

Шартты энтропия мен біріктіру энтропиясының анықтамасы

Ақпараттар теориясында шартты энтропия түсінігі төмендегідей өзара байланысты анықтағанда қолданылады:

а) кодталатын алфавит символдарымен (бір қайнар көзбен тізбектеліп таңдалатын жағдай арасында);

ә) байланыс каналдарымен ақпаратты тасымалдағанда жоғалтуларды анықтау үшін;

б) біріктіру энтропиясын есептеу үшін.

Егер – хабарлама көзінің еркін түрдегі жағдайы, – адресаттың еркін түрдегі жағдайы болса, онда дербес шартты энтропия қайнар көздің әрбір -ші жағдайында шартты энтропиясын анықтайды және келесі формуламен есептелінеді:

(1.3)

Жалпы шартты энтропия хабарламасына қатысты таратылатыны белгілі болса, қабылдағыштағы ақпарат санын сипаттайды, (немесе, ансамбльдің жағдайы белгілі болғанда, ансамблінің бір жағдайына шаққанда орташа анықталмағандық).

(1.4)

Бірігу энтропиясы және статистикалық тәуелді хабарламалардың бірге пайда болу энтропиясын есептеу үшін қолданылады. хабарламасын жіберу ансамблі және қабылдау ансамблі үшін біріктіру энтропиясы келесідей болады:

бит/екі символ (1.5)

Тәуелсіз ансамбльдер болған жағдайда:

Біріктіру энтропиясы және шартты энтропия өзара келесідей қатынаспен байланысқан:

(1.6)

Біріктіру энтропиясы келесі түрдегі матрицаның көмегімен есептелуі мүмкін:

3. Энтропия қасиеті.

1. интервалында үздіксіз, яғни -ның кіші өлшемдерінде шамасы аз өзгереді.

2. , -ға қатысты симметриялы, яғни -дің аргументінің кез-келген ауысуында өзгермейді.

3. Егер оқиғасы екіжәнеоқиғаларынан тұратын, ықтималдылықтарыжәне,болса, онда:

   1. 

4. Энтропия әрқашан теріс емес.

5. Оқиғалардың біреуінің ықтималдылығы бірге тең болса, энтропия нөлге тең.

6. Барлық ықтималдылықтар өзара тең болғанда энтропияның мәні ең үлкен болады. , мұндағы

   1. .

Энтропия ансамбльден бір жағдайды таңдаудың орташа анықталмағандығын сипаттайды және тек қана ықтималдылық жағдайлармен анықталынады.

1.1-мысал. Екі дискретті кездейсоқ шаманың және ансамбльдері берілген. жәнеанықтаңыз.

Шешуі: