Найдите количество информации в сообщении длиной 4 с вероятностями p=0,25.

Дано:

• Длина сообщения: $N = 4$ символа.

• Вероятность появления каждого символа: $p = 0{,}25$.

• Найти количество информации $I$.

Решение:

Количество информации, содержащееся в одном символе, вычисляется по формуле Шеннона:

Подставим значение вероятности:

Так как $0{,}25=\frac14=2^{-2}$, получаем:

Таким образом, один символ несёт 2 бита информации.

Для сообщения длиной 4 символа общее количество информации вычисляется по формуле:

Подставляем значения:

Ответ: 8 бит информации.

Это справедливо при условии, что символы сообщения независимы и вероятность каждого из них равна 0,25.