Теорія інформації та кодування в задачах
73


Властивість  2. Для симетричного по виходу каналу рівноймовірний розподіл вхідних символів (  ) дає рівномірний розподіл вихідних символів.

Згідно з формулою повної ймовірності

Вираз   є сумою елементів  - го стовпця. Для симетричного по виходу каналу ця сума не залежить від номера стовпця і дорівнює  M/N,  тому

Визначимо тепер пропускну здатність дискретного стаціонарного симетричного в послабленому значенні каналу без пам’яті та без витирання  ( тобто при  N = M  ).

Звернемося до виразу (3.11). Згідно властивості 1 умовна ентропія H(Y/X)  не залежить від розподілу  {p(xi)},  тому можна записати

(3.13)

Ентропія H(Y) набуває максимального значення , коли всі символи алфавіту  Y  є однаково ймовірними. Згідно властивості 2 це буде мати місце при однаково ймовірному розподілі символів на вході каналу.

Таким чином

(3.14)

Якщо канал є симетричним по входу, але не симетричним по виходу, може не існувати розподіл {p(xi)}, для якого вихідні символи yk  будуть однаково ймовірними. В цьому випадку