Звичайно, як і для двох джерел, має місце співвідношення
|
|
(1.21) |
де рівність має місце, коли всі джерела статистично незалежні.
Звернемось знову до системи двох дискретних джерел. Спостерігаючи за виникненням символів на виході одного із джерел, наприклад першого, в загальному випадку будемо отримувати певну кількість інформації про появу символів на виході другого джерела. Ця інформація 
в розрахунку на один символ буде дорівнювати зменшенню ентропії другого джерела. Оскільки початкова або апріорна ентропія другого джерела ( тобто ентропія, яка мала місце до спроби, де під спробою будемо розуміти появу символу на виході першого джерела, який є доступним ) дорівнює 
, а залишкова або апостеріорна ( після спроби ) ентропія буде 
, то
|
|
(1.22) |
Ця величина показує, яка кількість інфомації в середньому міститься в одному символі першого джерела про виникнення символів на виході другого джерела.
Користуючись виразами для безумовної та умовної ентропій, після деяких перетворень можна отримати:
|
|
(1.23) |
Крім того, враховуючи (1.16) та (1.17), будемо мати такі інтерпретації для :
|
|
(1.24) |
Тобто кількість інформації, що містить в середньому символ на виході першого джерела про виникнення символів на виході другого джерела, дорівнює кількості інформації, яка міститься в середньому в символі на виході другого джерела про виникнення символів на виході першо