го. Через це 
має назву повної взаємної інформації. Аналіз виразів (1.22), (1.23), (1.24) показує, що рівність повної взаємної інформації нулю є необхідною і достатньою умовою статистичної незалежності джерел.
Користуючись поняттям умовної ентропії, можна отримати вираз для обчислення ентропії 
джерела з пам’яттю, яке має алфавіт 
. Якщо глибина пам’яті такого джерела дорівнює 
, а потужність алфавіту 
, то можна вважати, що перед генерацією чергового символу джерело знаходиться в одному з 
станів, де під станом розуміємо одну з можливих послідовностей попередніх символів довжиною на його виході.
Тоді частинна умовна ентропія 
при умові, що джерело перебуває в s-му стані
|
|
(1.25) |
де 
– умовна ймовірність появи символу 
, якщо джерело перебуває в s-му стані.
Усереднюючипо усіх станах, отримаємо вираз для ентропії марковського джерела:
|
|
(1.26) |
тут 
– ймовірність перебування джерела в s-му стані.
Якщо статистичні зв’язки мають місце лише між двома суміжними символами (тобто джерело має глибину пам’яті 
), стан джерела визначається тільки попереднім символом ; в цьому разі ентропія 
джерела обчислюється за таким виразом: