1. ДИСКРЕТНІ ДЖЕРЕЛА ІНФОРМАЦІЇ
1.1. Теоретичні положення
Дискретне джерело інформації – це таке джерело, яке може виробити ( згенерувати ) за скінчений відрізок часу тільки скінчену множину повідомлень. Кожному такому повідомленню можна співставити відповідне число, та передавати ці числа замість пові-домлень.
Дискретне джерело інформації є достатньо адекватною інфор-маційною моделлю дискретних систем, а також неперервних систем, інформаційні сигнали про стан яких піддають аналого - цифровому пе-ретворенню; таке перетворення виконується в більшості сучасних автоматизованих систем управління.
Первинні характеристики дискретного джерела інформації – це алфавіт, сукупність ймовірностей появи символів алфавіту на виході дискретного джерела та тривалості символів.
Алфавіт – множина 
символів, які можуть з’явитися на виході дискретного джерела; 
– потужність, тобто кількість різноманітних символів алфавіту.
Якщо всі ймовірності, які визначають виникнення символів на виході джерела, не залежать від часу, джерело називають стаціонарним. Ми будемо розглядати тільки стаціонарні джерела та для скорочення замість “стаціонарне джерело” будемо всюди використовувати “джерело”.
Для опису джерел, які не мають пам’яті, достатньо мати значення безумовних імовірностей p(xi) виникнення символів xi, i = 1, 2, 3,…, M на його виході.
Більшість реальних джерел інформації є джерелами з пам’ят-тю. Розподіл ймовірностей виникнення чергового символу на виході дискретного джерела з пам’яттю залежить від того, які символи були попередніми. Таке джерело інформації називають марковським, оскільки процес появи символів на його виході адекватний ланцюгам Маркова; останні в свою чергу отримали таку назву на честь російсь