Теорія інформації та кодування в задачах
15


Таким чином для середньої умовної  та безумовної  ентропій мають місце співвідношення:

 (1.10)

Для двох визначених вище дискретних джерел можна розрахувати сумісну ентропію  сукупності символів , або ентропію об'єднання ансамблей  та  :

(1.11)

Для обчислення  слід мати набір або матрицю ймовірностей  сумісної появи  та

           .                  (1.12)

Сума елементів -го рядка цієї матриці дорівнює безумовній імовірності  появи символу  на виході другого джерела, а сума елементів -го  стовпця – безумовній ймовірності  появи символу на виході першого джерела:

   

(1.13)

Маючи безумовні ймовірності  та появи символів  та  на виході кожного з джерел, а також ймовірності  сумісної їх появи, можна обчислити умовні ймовірності  та , користуючись виразом:

 ,

(1.14)

а далі за виразом (1.7) знайти умовні ентропії  та . Тобто матриця (1.12) дає необхідні дані для обчислення ентропій