Рассмотрим некоторый канал связи. На его входе источник генерирует символы (alpha)vi и направляет их в канал. На выходе канала приёмник получает символы (beta)vg. (alpha)v1-------> (------------)--------->(beta)v1 (alpha)v2-------> (------------)--------->(beta)v2 ... ^^ ^^ ... (alpha)vi-------// \\--------(beta)vj ... / \ ... (alpha)vk------/ \-------(beta)vl Тогда Hv((alpha)vi)((beta)vj) - это неопределённость того, что отправив (alpha)vi, получим (beta)vj. Hv((beta)vj)((alpha)vi) - это неопределённость, которая остаётся после принятия (beta)vj в том, что было отправлено (alpha)vi. Если помех в канале связи нет, то при этом безусловные энтропии источника и приёмника равны: H(A)=H(B), иначе информационные потери полностью описываются через частичную и общую условную энтропию. Вычисления частичной и общей условных энтропий удобно выполнять с помощью канальных матриц (матриц, которые статистически описывают канал связи). Рассматривают канальные матрицы со стороны источника и со стороны приёмника. Если рассматривается канальная матрица со стороны источника, то в ней указываются вероятности того, что при передаче сигнала Avi был получен сигнал Bvj. Строки отвечают за состояние источника, а столбцы - за состояние приёмника. Канальная матрица со стороны источника выглядит следующим образом: |Bv1 |Bv2 |...|Bvl ---+------------+------------+---+------------ Av1|Pv(Av1)(Bv1)|Pv(Av1)(Bv2)| |Pv(Av1)(Bvl) ---+------------+------------+---+------------ Av2|Pv(Av2)(Bv1)|Pv(Av2)(Bv2)| |Pv(Av2)(Bvl) ---+------------+------------+---+------------ ...| ... | ... | | ... ---+------------+------------+---+------------ Avk|Pv(Avk)(Bv1)|Pv(Avk)(Bv2)| |Pv(Avk)(Bvl) ---+------------+------------+---+------------ Канальная матрица со стороны приёмника выглядит следующим образом: |Bv1 |Bv2 |...|Bvl ---+------------+------------+---+------------ Av1|Pv(Bv1)(Av1)|Pv(Bv2)(Av1)| |Pv(Bvl)(Av1) ---+------------+------------+---+------------ Av2|Pv(Bv1)(Av2)|Pv(Bv2)(Av2)| |Pv(Bvl)(Av2) ---+------------+------------+---+------------ ...| ... | ... | | ... ---+------------+------------+---+------------ Avk|Pv(Bv1)(Avk)|Pv(Bv2)(Avk)| |Pv(Bvl)(Avk) ---+------------+------------+---+------------ Вероятности правильного приёма символов в обеих матрицах расположены по главной диагонали. Вероятности во всех остальных ячейках соответсвуют ошибкам (искажениям). В идеальном случае (при отсутствии помех) на главной диагонали располагаются единицы. Свойства канальных матриц: 1) в большинстве случаев канальные матрицы являются квадратными; 2) максимальные вероятности лежат на главной диагонали; 3) вероятности уменьшаются по мере удаления от главной диагонали; 4) сумма вероятностей в строке соответствует единице для канальной матрицы со стороны источника, сумма вероятностей в столбце соответствует единице для канальной матрицы со стороны приёмника. +---+---+---+ |0,8|0,1|0,1|(SIGMA) +---+---+---+ PvA(B)=|0,2|0,7|0,1|(SIGMA) +---+---+---+ |0,2|0,3|0,5|(SIGMA) +---+---+---+ Свойства условной энтропии: 1) общая условная энтропия Hv(alpha)(beta) всегда >=0; 2) если вероятности P(Avi)=/=0, i=1..k, то Hv(alpha)(beta)=0 только в том случае, если Hv(Av1)((beta))=Hv(Av2)((beta))=...=Hv(Avk)((beta))=0, то есть в том случае, когда при любом результате (alpha) значение (beta) является полностью определённым). При этом если рассмотреть источник и приёмника как единое целое, то H((alpha)(beta))=H((alpha)). На практике это соответствует каналу без шума; 3) если (alpha) и (beta) независимые, то имеет место следующее равенство: Hv(Av1)((beta))=Hv(Av2)((beta))=...=Hv(Avk)((beta))=H((beta))=>Hv(alpha)((beta))=H((beta))=>H((alpha)(beta))=H((alpha))+H((beta)); 4) событие (alpha) может только уменьшить (либо не изменить) неопределённости (beta): H((beta))-H((alpha))<=Hv(alpha)((beta))<=H((beta)). Информационные характеристика канала связи можно использовать для улучшения характеристик передаваемых сообщений путём двойного упорядочивания: 1) определяем затраты (потери) на одно кодовое слово и упорядочиваем их по уменьшению потерь; 2) упорядочиваем первичный алфавит по уменьшению вероятностей и далее присваиваем кодовым словам символы первичного алфавита. Энтропия объединения событий (alpha) и (beta) обладает свойством симметрии. H((alpha)(beta))=H((beta)(alpha)) H((alpha)(beta))=H((alpha))+Hv(alpha)((beta))=H((beta))+Hv(beta)((alpha)) Hv(alpha)(beta)=H((alpha)(beta))-H((alpha)) Hv(beta)(alpha)=H((alpha)(beta))-H((beta)) Сообщения на выходе источника генерируются путём комбинации частот Av1, Av2, Av3. Статистические испытания канала связи при прохождении этих частот дали результаты, представленные следующей канальной матрицей: 0,98 0,01 0,01 0,1 0,75 0,15 0,2 0,3 0,5 Определить неопределённость прохождения частоты Av2 по данному каналу связи. Определить общую условную энтропию данного канала связи, если вероятности появления частот на выходе источника сообщений составляют 0,7, 0,2 и 0,1. Hv(a2)(B)=-(0,1logvx0,1+0,75logvx0,75+0,15logv20,15)=1,054 бит/симв. P(av1)=0,7 P(av2)=0,2 P(av3)=0,1 HvA(B)=-(SIGMA)vi(SIGMA)vjP(avi)Pv(avi)(bvj)logv2Pv(avi)(bvj)=-[0,7*(0,98logv20,98+2*0,01logv20,01)+0,2*(0,1logv20,1+0,75logv20,75+0,15logv20,15)+0,1*(0,2logv20,2+0,3logv20,3+0,5logv20,5)]~=0,465 бит/симв. Для данной задачи вычислить полную условную энтропию при равновероятном появлении символов в сообщениях.