Что такое бит с позиции алфавитного подхода к измерению информации?

Бит — это единица измерения информации, которая в алфавитном подходе означает количество информации в выборе одного символа из алфавита из двух равновероятных символов (двоичного алфавита). То есть один символ «0» или «1» несёт 1 бит информации, потому что мы отличаем один из двух равновозможных вариантов: $\log_2 2 = 1$.

В целом алфавитный подход исходит из мощности алфавита $N$ и количества символов $k$ в сообщении. Если символы равновероятны и нет избыточности, то:

• информация в одном символе: $I_1 = \log_2 N$ бит;

• информация во всём сообщении из $k$ символов: $I = k \log_2 N$ бит.

Примеры:

• Подбрасывание честной монеты («орёл/решка») — 1 бит.

• Выбор стороны света из $\{N, E, S, W\}$ — $\log_2 4 = 2$ бита.

• Один символ из 32-символьного алфавита — $\log_2 32 = 5$ бит.

Важно: определение «1 бит» предполагает равновероятный выбор символов. Если вероятности неравны, средняя информация на символ будет меньше, но в базовом алфавитном подходе обычно берут именно равновероятный случай.