Теорія інформації та кодування в задачах
16


,  кожного з джерел та умовних ентропій , .

Всі вище перелічені ентропії можна також отримати із матриць умовних ймовірностей  або  та необхідної кількості безумовних ймовірностей  та .

Ентропію  системи двох джерел, користуючись виразом (1.14),  подамо у вигляді:

(1.15)

Перша складова з урахуванням того, що

,

є ентропією  першого джерела, друга збігається з виразом (1.7) для умовної ентропії. Тобто

(1.16)

Аналогічно можна показати, що

(1.17)

Якщо джерела статистично незалежні, то із виразу (1.9) виходить

(1.18)

У загальному випадку

(1.19)

Для системи, що складається з  джерел з алфавітами , ентропія визначається так:

(1.20)