Теорія інформації та кодування в задачах
44


лам джерела, що розташовані вище відрізка, приписуємо символ 1 двійкового коду, нижче – символ 0 (можна символи алфавіту коду поміняти місцями). Це будуть перші символи кодових комбінацій. Далі аналогічні процедури необхідно виконувати над отриманими підмножинами. Оскільки  одна із підмножин містить лише один символ , процес формування кодової комбінації для нього закінчено. Другим поділом розділяємо підмножину символів  на  та . Цей поділ також буде ідеальним, оскільки  Як і раніше, символам цієї підмножини, розташованим вище відрізка другого поділу, приписуємо символ 1, нижче – символ 0. Процедуру розділення підмножин та послідовного приписування символів алфавіту коду закінчуємо, коли кожна підмножина буде містити точно один символ.

Отриманий код є префіксним. Середня довжина кодової комбінації:

Ентропія джерела:

Середня довжина кодової комбінації точно збігається із значенням ентропії джерела. В такому випадку кажуть, що ефективний код є ідеальним. Необхідною і достатньою умовами можливості побудови ідеального ефективного коду за методикою Шеннона-Фано або Хаффмена для немарковського джерела є рівність ймовірності появи кожного символу його алфавіту будь-який цілій (зрозуміло, від’ємний) степені двійки. Легко пересвідчитись, що в даному випадку ця умова задовольняється.

Коди, побудовані для одного і того ж джерела за методиками Шеннона-Фано та Хаффмена, можуть цілком збігатися. Але якщо це і