го. Через це має назву повної взаємної інформації. Аналіз виразів (1.22), (1.23), (1.24) показує, що рівність повної взаємної інформації нулю є необхідною і достатньою умовою статистичної незалежності джерел.
Користуючись поняттям умовної ентропії, можна отримати вираз для обчислення ентропії джерела з пам’яттю, яке має алфавіт . Якщо глибина пам’яті такого джерела дорівнює , а потужність алфавіту , то можна вважати, що перед генерацією чергового символу джерело знаходиться в одному з станів, де під станом розуміємо одну з можливих послідовностей попередніх символів довжиною на його виході.
Тоді частинна умовна ентропія при умові, що джерело перебуває в s-му стані
(1.25) |
де – умовна ймовірність появи символу , якщо джерело перебуває в s-му стані.
Усереднюючипо усіх станах, отримаємо вираз для ентропії марковського джерела:
(1.26) |
тут – ймовірність перебування джерела в s-му стані.
Якщо статистичні зв’язки мають місце лише між двома суміжними символами (тобто джерело має глибину пам’яті ), стан джерела визначається тільки попереднім символом ; в цьому разі ентропія джерела обчислюється за таким виразом: