Ентропія для марковського джерела з глибиною пам’яті знаходиться за виразом (1.27). Розрахунок ентропії для такого джерела при наведено в задачі 1.2.6.
Умовна ентропія знаходиться за виразом (1.7) – значення ймовірностей та є відомими. Щоб визначити умовну ентропію , необхідно знати ймовірності та . Перші можна отримати таким чином:
Для ймовірностей маємо із виразу (1.14):
. |
Таким чином, отримали всі компоненти, щоб розрахувати всі складові правої частини (1.32).
Припустимо, що перше джерело має характеристики із задачі 1.2.6, потужність алфавіту другого джерела , а матриця (1.31) має вигляд
. |
Послідовно виконуючи вищезгадані дії, отримаємо:
H(Y/X) = 1,073 біт;
p(y1) = 0,56049; p(y2) = 0,18889; p(y3) = 0,25062;
H(X/Y) = 0,671 біт .