Таким чином для середньої умовної та безумовної ентропій мають місце співвідношення:
(1.10) |
Для двох визначених вище дискретних джерел можна розрахувати сумісну ентропію сукупності символів , або ентропію об'єднання ансамблей та :
(1.11) |
Для обчислення слід мати набір або матрицю ймовірностей сумісної появи та
. (1.12)
Сума елементів -го рядка цієї матриці дорівнює безумовній імовірності появи символу на виході другого джерела, а сума елементів -го стовпця – безумовній ймовірності появи символу на виході першого джерела:
|
(1.13) |
Маючи безумовні ймовірності та появи символів та на виході кожного з джерел, а також ймовірності сумісної їх появи, можна обчислити умовні ймовірності та , користуючись виразом:
, |
(1.14) |
а далі за виразом (1.7) знайти умовні ентропії та . Тобто матриця (1.12) дає необхідні дані для обчислення ентропій