Сколько бит информации несет сообщение о том, что очередной символ текста — @, если вероятность появления символа @ в тексте равна 0,125?

Чтобы понять, сколько битов информации несет сообщение о том, что очередной символ текста — это символ "@", нужно воспользоваться понятием информации, которая измеряется в битах, а точнее — формулой Шеннона для измерения информации.

Информация, которая содержится в событии, определяется как:

где:

• $I$ — количество информации в битах,

• $p$ — вероятность того, что это событие произойдёт.

В данном случае вероятность появления символа "@" равна $p = 0,125$.

Подставляем значение в формулу:

Теперь вычислим логарифм:

Таким образом, сообщение о том, что очередной символ текста — это "@", несет 3 бита информации.