формулы Хартли и Шеннона

Количество информации зависит от модели вероятностей: редкий исход информативнее, а средняя неопределённость максимальна у равновероятного источника.

три связанные меры

Логарифм по основанию 2 задаёт единицу бит. Формула Хартли относится к выбору одного из $N$ равновероятных исходов. Самоинформация относится к конкретному исходу с вероятностью $p$. Энтропия — среднее значение самоинформации по полной системе исходов.

Области определения: $N$ — положительное целое число; для самоинформации $0<p\le 1$; для энтропии $p_i\ge0$ и $\sum_i p_i=1$. По непрерывному соглашению при $p_i=0$ вклад $p_i\log_2p_i$ считают равным $0$.

$$I=\log_2 N$$

Хартли: один из N равновероятных исходов

$$I=-\log_2 p=\log_2\frac{1}{p}$$

Самоинформация исхода

$$H=-\sum_{i=1}^{N}p_i\log_2p_i$$

Энтропия дискретного источника

два вычисления с проверкой

После вычисления полезно вернуть результат к вероятности или числу альтернатив: так видна ошибка в знаке или основании логарифма.

равновероятный алфавит

условие: Сколько информации даёт выбор одного из $N=32$ равновероятных символов?

ход решения

1. Подставляем $N=32$ в формулу Хартли.

2. $I=\log_2 32=5$ бит.

ответ: $5$ бит.

проверка: $2^5=32$, значит, пять двоичных вопросов различают все варианты.

редкое событие

условие: Какова самоинформация события с $p=\frac{1}{8}$?

ход решения

1. $I=-\log_2\frac{1}{8}$.

2. Так как $\frac{1}{8}=2^{-3}$, получаем $I=3$ бита.

ответ: $3$ бита.

проверка: $2^{-3}=\frac{1}{8}$ — исходная вероятность восстановлена.

неравновероятный источник

условие: Найти энтропию распределения $(0{,}5;0{,}2;0{,}3)$.

ход решения

1. Подставляем вероятности: $H=-0{,}5\log_2 0{,}5-0{,}2\log_2 0{,}2-0{,}3\log_2 0{,}3$.

2. Получаем $H\approx1{,}485$ бита на исход.

ответ: $H\approx1{,}485$ бита на исход.

проверка: $0\le H\le\log_2 3\approx1{,}585$; результат лежит в допустимом диапазоне.

двоичная энтропия

Для двух исходов с вероятностями $p$ и $1-p$ получаем $h(p)=-p\log_2p-(1-p)\log_2(1-p)$. В точках $p=0$ и $p=1$ исход заранее известен, поэтому $h=0$. При $p=0{,}5$ исходы равновероятны и неопределённость максимальна: $h=1$ бит.

График симметричен относительно $p=0{,}5$: перестановка названий двух исходов не меняет распределение.

не путайте событие и среднее

$-\log_2p$ измеряет один исход, а $H$ усредняет эту величину по всем исходам источника.

что запомнить

• $I=\log_2N$ требует равновероятных альтернатив.

• $I=-\log_2p$ — самоинформация конкретного исхода.

• $H=-\sum p_i\log_2p_i$ — средняя самоинформация; нулевой вклад считают нулём.

• Двоичная энтропия равна нулю на концах и достигает 1 бита при $p=0{,}5$.

самопроверка

• Почему выбор из 32 равновероятных вариантов даёт 5 бит?

• Что информативнее: исход с вероятностью $1/2$ или $1/16$?

• Как трактуется слагаемое при $p_i=0$?

• Почему двоичная энтропия максимальна при $p=0{,}5$?

источники

• материал занятия: слайды Егоровой · тема 2 — /materials/lectures/informatika-egorova-02.pdf

• материал занятия: фотографии конспекта, страницы 92–95 — /materials/notes/informatics/photo_92@20-09-2026_10-17-52.jpg

• редакционная сверка: R. V. L. Hartley, Transmission of Information (1928) — https://onlinelibrary.wiley.com/doi/abs/10.1002/j.1538-7305.1928.tb01236.x

• редакционная сверка: Claude E. Shannon, A Mathematical Theory of Communication (1948) — https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf

• редакционная сверка: MIT OpenCourseWare 6.441: Information Theory, course notes — https://ocw.mit.edu/courses/6-441-information-theory-spring-2016/5d8f16adc3385c9ff2975b121bd620e4_MIT6_441S16_course_notes.pdf