Теорія інформації та кодування в задачах
29


Ентропія  для марковського джерела з глибиною пам’яті  знаходиться за виразом  (1.27). Розрахунок ентропії для такого джерела  при   наведено  в  задачі  1.2.6.

Умовна ентропія  знаходиться за виразом (1.7) – значення ймовірностей  та  є відомими. Щоб визначити умовну ентропію , необхідно знати ймовірності та . Перші можна отримати таким чином:

Для ймовірностей  маємо із виразу (1.14):

 .

Таким чином, отримали всі компоненти, щоб розрахувати всі складові правої частини (1.32).

Припустимо, що перше джерело має характеристики із задачі 1.2.6, потужність алфавіту другого джерела , а матриця (1.31) має вигляд

 .

Послідовно виконуючи вищезгадані дії, отримаємо:

H(Y/X) = 1,073 біт;

   p(y1) = 0,56049;  p(y2) = 0,18889;  p(y3) = 0,25062;

H(X/Y) = 0,671 біт .