Информационный вес символа двоичного алфавита.

Информационный вес символа двоичного алфавита можно рассматривать через понятие информации, которую он несет. Каждый символ двоичного алфавита (0 или 1) представляет собой бит. Информационный вес символа в контексте теории информации можно определить через его энтропию.

Для простоты возьмем два возможных состояния — 0 и 1, каждое из которых имеет равную вероятность появления, то есть вероятность каждого из символов составляет 50%, или 0,5. Тогда информационный вес символа в битах можно рассчитать по формуле Шеннона для энтропии:

где $p(x)$ — это вероятность появления каждого символа (в нашем случае для 0 и 1).

Так как вероятность появления 0 и 1 одинаковая и равна 0,5, энтропия будет:

Таким образом, информационный вес одного символа двоичного алфавита равен 1 бит. Это означает, что каждый символ в двоичном коде несет единицу информации.