Ураховуючи, що H(X) = 1,001 біт, маємо H(Y) = 1,403 біт . Нарешті, повна взаємна інформація
I(X,Y) = H(X)–H(X/Y) = H(Y)–H(Y/X) = 0,33 біт .
Задача 1.2.8
Маємо два немарковських дискретних джерела інформації з алфавітами 
Ймовірності появи символів на виході першого джерела
|
|
Значення умовних ймовірностей 
виникнення символу 
на виході другого джерела при умові, що на виході першого з'явився символ 
, є такими:
|
|
. (1.33)Розрахувати ентропії кожного з джерел, системи двох джерел та повну взаємну інформацію.
Розв'язання. Скористуємось формулою повної ймовірності
|
|
для визначення ймовірностей появи символів на виході джерела з алфавітом 
|
|
Отримані значення збігаються із значеннями ймовірностей 
. Висновок про це можна було зробити, аналізуючи матрицю (1.33). Кожний рядок і кожний стовпець має у своєму складі по одній одиниці. Це свідчить, що між символами існує взаємно-однозначний зв'язок. Тому
H(X)= H(Y)= 1,28 біт .