Чем отличается формула Хартли от формулы Шеннона?

Ответы на вопрос

Отвечает Кузнецов Ваня.

Формулы Хартли и Шеннона отличаются тем, какую ситуацию они описывают и что именно учитывают при измерении количества информации.

Формула Хартли

Формула Хартли используется в простейшем случае, когда все возможные сообщения считаются равновероятными.

Она имеет вид:

I = \log_2 N

где:

I

— количество информации в битах,

N

— число возможных равновероятных сообщений.

Смысл формулы такой: если из $N$ одинаково вероятных вариантов выбран один, то количество информации в этом выборе равно $\log_2 N$ бит.

Например, если нужно угадать один вариант из 8 равновероятных:

I = \log_2 8 = 3

Значит, сообщение о том, какой именно вариант выбран, несет 3 бита информации.

Формула Хартли хорошо подходит для задач типа:

бросок правильной монеты;
выбор одной карты из одинаково возможных вариантов;
выбор одного символа из алфавита, если все символы встречаются одинаково часто;
передача одного из заранее известных равновероятных сообщений.

Главное условие: все исходы имеют одинаковую вероятность.

Формула Шеннона

Формула Шеннона более общая. Она применяется тогда, когда возможные сообщения могут иметь разные вероятности.

Она имеет вид:

H = -\sum_{i=1}^{N} p_i \log_2 p_i

или, что то же самое:

H = \sum_{i=1}^{N} p_i \log_2 \frac{1}{p_i}

где:

H

— среднее количество информации, или энтропия источника,

p_i

— вероятность $i$ -го сообщения,

N

— количество возможных сообщений.

Формула Шеннона учитывает, что одни события могут происходить часто, а другие редко. Редкое событие несет больше информации, потому что оно менее ожидаемо. Частое событие несет меньше информации, потому что оно более предсказуемо.

Например, если есть два сообщения:

первое появляется с вероятностью 0,9;
второе появляется с вероятностью 0,1.

То сообщение с вероятностью 0,1 будет более информативным, потому что оно неожиданнее.

Главное отличие

Главное отличие состоит в следующем:

формула Хартли считает количество информации при равновероятных исходах, а формула Шеннона — при исходах с произвольными вероятностями.

То есть формула Хартли — это частный случай формулы Шеннона.

Если все вероятности одинаковы, то формула Шеннона превращается в формулу Хартли.

Допустим, есть $N$ равновероятных сообщений. Тогда вероятность каждого сообщения равна:

p_i = \frac{1}{N}

Подставим это в формулу Шеннона:

H = -\sum_{i=1}^{N} \frac{1}{N}\log_2\frac{1}{N}

Так как все слагаемые одинаковые:

H = -N \cdot \frac{1}{N}\log_2\frac{1}{N}

H = -\log_2\frac{1}{N}

H = \log_2 N

Получается формула Хартли:

I = \log_2 N

Пример различия

Представим, что есть источник, который выдает один из четырех символов.

Случай 1: символы равновероятны

Пусть символы A, B, C, D появляются с одинаковой вероятностью:

p(A)=p(B)=p(C)=p(D)=\frac{1}{4}

По формуле Хартли:

I = \log_2 4 = 2

По формуле Шеннона:

H = 2

Результаты совпадают, потому что все события равновероятны.

Случай 2: символы имеют разные вероятности

Пусть вероятности такие:

p(A)=0{,}7

p(B)=0{,}1

p(C)=0{,}1

p(D)=0{,}1

Формулу Хартли здесь применять напрямую некорректно, потому что исходы не равновероятны. Она просто сказала бы, что вариантов четыре, значит информации 2 бита. Но это не отражает реальную ситуацию: символ A встречается намного чаще остальных, поэтому источник более предсказуем.

Формула Шеннона даст меньшее значение энтропии, потому что неопределенность ниже, чем при четырех равновероятных вариантах.

Разница в смысле

Формула Хартли отвечает на вопрос:

«Сколько информации содержится в выборе одного варианта из $N$ равновероятных?»

Формула Шеннона отвечает на вопрос:

«Каково среднее количество информации в сообщениях источника, если вероятности сообщений могут быть разными?»

Поэтому формула Хартли проще, но менее универсальна. Она не учитывает вероятности отдельных сообщений, кроме предположения, что они одинаковые. Формула Шеннона сложнее, зато она описывает реальные источники информации точнее, потому что в реальных языках, сигналах и сообщениях разные варианты обычно встречаются с разной частотой.

Кратко

Формула Хартли:

I = \log_2 N

используется для равновероятных событий.

Формула Шеннона:

H = -\sum p_i \log_2 p_i

используется для событий с разными вероятностями.

Формула Хартли является частным случаем формулы Шеннона, когда все возможные сообщения имеют одинаковую вероятность.