|
|
(1.29) |
Обчислити ентропію такого джерела.
Розв’язання. Щоб розрахувати ентропію марковського джерела, необхідно знати безумовні ймовірності 
появи відповідних символів на виході джерела. Їх можна отримати, скористувавшись рівняннями:
Підставивши сюди значення умовних ймовірностей з матриці (1.29) та дещо спростивши, будемо мати систему лінійних рівнянь:
|
|
Розв'язання системи дає:
|
|
Тепер можна скористуватись безпосередньо виразом (1.27) , або ж обчислити частинні умовні ентропії для кожного стану джерела, а потім знайти ентропію марковського джерела, як математичне сподівання вищезгаданих частинних умовних ентропій. Кожна частинна умовна ентропія 
– це ентропія розподілу умовних імовірностей, розташованих в одному з рядків матриці (1.29).
Обравши другий шлях, будемо мати:
|
|
|
|
|
|
