Властивість 2. Для симетричного по виходу каналу рівноймовірний розподіл вхідних символів ( ) дає рівномірний розподіл вихідних символів.
Згідно з формулою повної ймовірності
Вираз є сумою елементів k - го стовпця. Для симетричного по виходу каналу ця сума не залежить від номера стовпця і дорівнює M/N, тому
Визначимо тепер пропускну здатність дискретного стаціонарного симетричного в послабленому значенні каналу без пам’яті та без витирання ( тобто при N = M ).
Звернемося до виразу (3.11). Згідно властивості 1 умовна ентропія H(Y/X) не залежить від розподілу {p(xi)}, тому можна записати
(3.13) |
Ентропія H(Y) набуває максимального значення , коли всі символи алфавіту Y є однаково ймовірними. Згідно властивості 2 це буде мати місце при однаково ймовірному розподілі символів на вході каналу.
Таким чином
(3.14) |
Якщо канал є симетричним по входу, але не симетричним по виходу, може не існувати розподіл {p(xi)}, для якого вихідні символи yk будуть однаково ймовірними. В цьому випадку