Теорія інформації та кодування в задачах
19
. |
(1.27) |
Для джерела з глибиною пам’яті стан визначається парою символів , а ентропія:
(1.28) |
Аналогічно можна отримати вирази для ентропій марковських джерел при більш глибоких статистичних зв’язках.
1.2. Приклади розв’язання задач
Задача 1.2.1
Розподіл ймовірностей появи символів на виході немарковського джерела з алфавітом потужності є таким:
Тривалості символів
Розрахувати ентропію, продуктивність та надмірність джерела.
Розв’язання. Користуючись виразами (1.1), (1.3), (1.4), (1.5), знаходимо:
4) ентропія
2) середня тривалість символу
3) продуктивність
4) надмірність