Теорія інформації та кодування в задачах
19


 .

(1.27)

Для джерела з глибиною пам’яті  стан визначається парою символів , а ентропія:

(1.28)

Аналогічно можна отримати вирази для ентропій марковських джерел при більш глибоких статистичних зв’язках.

1.2.  Приклади  розв’язання  задач

Задача  1.2.1

Розподіл ймовірностей появи символів на виході немарковського джерела з алфавітом потужності є  таким:

    

Тривалості символів  

Розрахувати ентропію, продуктивність та надмірність джерела.

Розв’язання. Користуючись виразами  (1.1), (1.3), (1.4), (1.5), знаходимо:

4)  ентропія

2) середня тривалість символу

3) продуктивність

4) надмірність