|
|
Задача 1.2.7
Маємо два дискретних джерела з алфавітами 
та 
. Перше джерело – марковське з глибиною пам’яті h = 1. Воно описується матрицею умовних ймовірностей
|
|
(1.30) |
виникнення символу 
при умові, що попереднім був символ 
. Ймовірність виникнення символу 
на виході другого джерела залежить від того, який символ з’явився на виході першого джерела, тобто ці ймовірності задаються матрицею
|
|
(1.31) |
Визначити ентропію другого джерела та повну взаємну інформацію.
Зауважимо, що ця задача моделює ситуацію, коли вихід марковського джерела з глибиною пам’яті 
подано на вхід стаціонарного дискретного каналу без пам’яті ( дивись розділ 3 ), який задається матрицею перехідних ймовірностей (1.31).
Розв’язання. Друге джерело буде в загальному випадку марковським, більш того, глибина пам’яті цього джерела може перевищувати одиницю. Отримати вираз для ентропії через ймовірності появи символів на виході другого джерела при цих умовах досить важко, оскільки для цього необхідно знати не тільки безумовні ймовірності 
, але й умовні – 
тощо. Для вирішення цієї задачі краще скористуватись виразами (1.16, 1.17), з яких можна отримати
|
|
(1.32) |
.