Неопределённость ситуации характеризуется величиной, которая называется энтропией. Ранее количество информации рассматривалось как функция от вероятности появления случайного события. I=F(Pvi)=F(nvi/N) С учётом меры Хартли получаем: Ivi=-logPvi
Рассмотрим полную группу событий, для которой введём следующее обозначение: пускай N - это количество всех возможных результатов эксперимента (опыта), из них k разных, i - результат, который вносит информацию nvi раз в Nvi. Тогда среднее количество информации, которое получается при одном исследовании (опыте), определяется по формуле: Iv(ср.)=(nv1Iv1+nv2Iv2+...+nvkIvk)/N=(nv1(-logPv1)+nv2(-logPv2)+...+nvk(-logPvk))/N=(nv1/N)*(-logPv1)+(nv2/N)*(-logPv2)+...+(nvk/N)*(-logPvk)
Iv(ср.)=-(SIGMA)[^kv(i=1)]PvilogPvi=H
Полученное значение было названо энтропией, впервые ввёл это определение Шеннон и стал обозначать её буквой H.
Энтропия - это среднее значение неопределённости отдельных результатов.
Свойства энтропии:
 1) энтропия всегда неотрицательна; энтропия равна нулю в том случае, когда события в системе полностью определены: Pv1=1 Pv2=Pv3=0
 2) при заданном k (количество разных исходов) максимальная энтропия Hv(max)=logk только при условии Pv1=Pv2=...=Pvk=1/k В этом случае энтропия полностью совпадает с мерой Хартли, что свидетельствует о полном использовании информационной ёмкости системы;
 3) значение функции энтропии H(Pv1,Pv2,...,Pvk) не зависит от перестановки вероятностей Pvi, то есть энтропия не учитывает смысла событий;
 4) функция энтропии H(Pv1,Pv2,...,Pvk) непрерывна;
 5) функция энтропии удовлетворяет следующему равенству: H(Pv1,Pv2,...Pvk)=H(Pv1+Pv2,Pv3,...,Pvk)+(Pv1+Pv2)*H(Pv1/(Pv1+Pv2)-Pv2*(Pv1+Pv2))
 6) функция энтропии растёт с увеличением числа k;
 7) если имеются две независимые системы A и B, то совместная энтропия этих систем H(AB)=H(A)+H(B)
Рассмотрим два различных исследования для диагностики одного и того же заболевания. Первое исследование даёт правильный результат о состоянии пациента с вероятностью 0.5, а другое - с вероятностью 0.8. Определить, какое медицинское исследование имеют большую неопределённость?
Иссл.         |Прав.|Неправ.|
Вероятн. для A|0,5  |0,5    |
Вероятн. для B|0,8  |0,2    |
H(A)=-Pv(AvП)logPv(AvП)-Pv(AvН)logPv(AvН)=-0.5log0.5-0,5log0.5=1 (бит)
H(B)=-Pv(BvП)logPv(BvП)-Pv(BvН)logPv(BvН)=-0.8log0.8-0.2log0.2=0.72 (бит)
Чему равняется энтропия системы, состоящей из 4-х элементов, каждый из которых может с равной вероятностью находиться в трёх состояниях?
k=4, n=3
1) H=logv23^4=4*logv23=6,32 бит/сост.
2) Источник сообщений принимает одно из 3^4=81 состояний, имеющих одинаковую вероятность. Энтропия на одно состояние составляет
H=-logv2p=-logv2(1/3^4)=logv23^4=4logv23=6,32 бит/сост.
Условная энтропия
Был рассмотрен идеальный случай, когда состояния элементов системы не зависят одно от другого и состояние одной системы не зависит от состояния другой. В этом случае неопределённость того, что некоторый элемент системы либо некоторая система целиком будет находиться в одном из k возможных состояний, полностью определяется вероятностными характеристиками элементов. На практике чаще встречаются взаимозависимые символы и сообщения. В технических взаимодействующих системах зачастую состояние одной системы влияет на состояние другой, и в этих случаях энтропия не может быть определена только на основании безусловных вероятностей. При подсчёте среднего количества информации на символ сообщения взаимозависимость учитывают через условные вероятности появления одних событий относительно других, а полученную при этом энтропию называют условной энтропией.
Пускай (alpha) и (beta) - это зависимые события. Тогда для (alpha) и (beta) можно рассмотреть следующие таблицы с вероятностями их различных состояний:
+-------+-------+---+-------+
|Av1    |Av2    |...|Avk    |
+-------+-------+---+-------+
|Pv(Av1)|Pv(Av2)|   |Pv(Avk)|
+-------+-------+---+-------+

+-------+-------+---+-------+
|Bv1    |Bv2    |...|Bvl    |
+-------+-------+---+-------+
|Pv(Bv1)|Pv(Bv2)|   |Pv(Bvl)|
+-------+-------+---+-------+
            P(Avi)*P(Bvj) - для независ. (alpha) и (beta)
P(Avi,Bvj)={
            P(Avi)*Pv(Avi)(Bvj) - для завис. (alpha) и (beta)
Для независимых (alpha) и (beta) получим:
H((alpha)(beta))=-P(Av1Bv1)logP(Av1Bv1)-P(Av1Bv2)logP(Av1Bv2)-...-P(Av1Bvl)logP(Av1Bvl)-
-P(Av2Bv1)logP(Av2Bv1)-P(Av2Bv2)logP(Av2Bv2)-...-P(Av2Bvl)logP(Av2Bvl)-...
...-P(AvkBv1)logP(AvkBv1)-P(AvkBv2)logP(AvkBv2)-...-P(AvkBvl)logP(AvkBvl)
Рассмотрим первую строку. Получим: -P(Av1)Pv(Av1)(Bv1)(logP(Av1)+logPv(Av1)(Bv1))-P(Av1)Pv(Av1)(Bv2)(logP(Av1)+logPv(Av1)(Bv2)-...-P(Av1)Pv(Av1)(Bvl)(logP(Av1)+logPv(Av1)(Bvl))=-P(Av1)*
*(Pv(Av1)(Bv1)+Pv(Av1)(Bv2)+...+Pv(Av1)(Bvl))logP(Av1)+P(Av1)(-Pv(Av1)(Bv1)logPv(Av1)(Bv1)-Pv(Av1)(Bv2)logPv(Av1)(Bv1)-...-Pv(Av1)(Bvl)logPv(Av1)(Bvl))=
=-P(Av1)logP(Av1)+P(Av1)Hv(Av1)((beta))
Предпоследнее выражение - это частичная условная энтропия (beta) при условии, что произошло Av1. Аналогичными преобразованиями все остальные строки могут быть приведены к следующему виду:
H((alpha)(beta))=-P(Av1)log(P(Av1))+_P(Av1)Hv(Av1)((beta))_-P(Av2)logP(Av2)+_P(Av2)Hv(Av2)((beta))_-...-P(Avk)logP(Avk)+_P(Avk)Hv(Avk)((beta))=H((alpha))+Hv(alpha)((beta))
Группа подчёркнутых слагаемых называется общей условной энтропией (beta) относительно (alpha) и обозначается Hv(alpha)((beta)).
Условная энтропия широко используется при определении информационных затрат при передаче информации по каналу связи.