Теорія інформації та кодування в задачах
16
, кожного з джерел та умовних ентропій , .
Всі вище перелічені ентропії можна також отримати із матриць умовних ймовірностей або та необхідної кількості безумовних ймовірностей та .
Ентропію системи двох джерел, користуючись виразом (1.14), подамо у вигляді:
(1.15) |
Перша складова з урахуванням того, що
, |
є ентропією першого джерела, друга збігається з виразом (1.7) для умовної ентропії. Тобто
(1.16) |
Аналогічно можна показати, що
(1.17) |
Якщо джерела статистично незалежні, то із виразу (1.9) виходить
(1.18) |
У загальному випадку
(1.19) |
Для системи, що складається з джерел з алфавітами , ентропія визначається так:
(1.20) |