Теорія інформації та кодування в задачах
45


не так, середні довжини кодових комбінацій цих кодів майже завжди будуть рівними.

Побудова нерівномірного ефективного коду для кодування символів марковського джерела найчастіше не дає бажаних результатів. Так, можна уявити марковське джерело, у якого безумовні ймовірності   виникнення для всіх символів будуть мати одне і те ж значення (рівноймовірний розподіл): , M – потужність алфавіту, але ентропія буде значно меншою, ніж максимально можлива H max logM для алфавіту потужності M. Зменшення ентропії у такого джерела спричиняється тільки наявністю пам’яті. Спроба побудувати нерівномірний ефективний код для кодування символів такого джерела, базуючись тільки на безумовних ймовірностях виникнення символів, призведе до того, що для середньої довжини коду буде завжди виконуватись співвідношення  l cep  ³  H max , причому рівність буде мати місце тільки тоді, коли  = 2m,  де  m – натуральне число; до речі, код у цьому випадку буде рівномірним.

Якщо марковське джерело має невелику глибину пам’яті, хороші результати можна отримати, якщо побудувати нерівномірний ефективний код для укрупненого алфавіту. Взагалі укрупнення алфавіту та побудова для нього ефективного коду є універсальним способом стиснення повідомлень. Але для марковських джерел, що мають велику глибину пам’яті, треба виконувати значне укрупнення. Це призводить до кодів з такою кількістю кодових комбінацій, що практична реалізація процедур кодування та декодування стає неможливою.

Іншим способом ефективного кодування для марковських джерел з невеликою глибиною пам’яті є спосіб  l – грамм  ( g– грамм) або марковський алгоритм. Суть способу полягає в тому, що для кожного стану марковського джерела будується нерівномірний ефективний код для кодування символів джерела з урахуванням умовних ймовірностей появи символів, тобто маємо набір кодових таблиць, кількість яких