Геометрическая мера информации
Геометрический метод измерения информации основан на измерении длины линий, площади либо объёма геометрической модели данного информационного сообщения. Это измерение прроводится в некоторых дискретных единицах (квантах) информации. Геометрическим методом определяется потенциально максимально возможное количество информации в заданных структурных габаритах. Это количество информации называется информационной ёмкостью.
Для графического представления геометрического метода изобразим информацию в системе координат XYZ с дискретными отсчётами L\x, L\y, L\z. В этом случае непрерывные координаты распадаются на кванты mx=X/L\x my=Y/L\y mz=Z/L\z. Тогда количество информации в квантах в комплексе XYZ, определяемое геометрическим методом, равняется _M=mx*my*mz_. Может иметь место неравномерная по осям и нестационарная (изменяемая во времени) дискретизация.
L\x=const L\y=const L\z=const
-+-+-+-+->x
 1 2 3 4
 L\x=/=L\y=/=L\z
Комбинаторная мера информации
Комбинаторную меру целесообразно использовать тогда, когда необходимо оценить возможность передачи информации с помощью разных комбинаций информационных элементов. Количество информации в комбинаторной мере вычисляется как количество комбинаций элементов.
Комбинации из n элементов по m различаются составом элементов. Их возможное количество составляет C^mvn=n!/(m!*(n-m)!). Комбинации с повторениями также различаются составом элементов, однако элементы в них могут повторяться до m раз. Количество разных комбинаций с повторениями из n элементов по m составляет C~^mvn=(n+m-1)!/(m!*(n-1)!)=C^mv(m+n-1). Перестановки n элементов различаются их порядком. Число возможных перестановок составляет Pvn=n!. Перестановка с повторенияи элементов, при которой один из элементов повторяется (alpha) раз, другой - (beta), и наконец, последний - (gamma) раз, характеризуется числом P~vn=((alpha)+(beta)+...+(gamma))!/((alpha)!*(beta)!*...*(gamma)!). Размещения из n элементов по m различаются и составом элементов, и их порядком. Возможное число размещений из n элементов по m составляет A^mvn=n!/(n-m)!. Возможное число размещений с повторениями по m из n элементов составляет A~^mvn=n^m. Определение количества информации при комбинаторном методе состоит в определении количества возможных либо действительно существующих комбинаций, то есть в структурном разнообразии.
Аддитивная мера информации (мера Хартли)
    +-+-+-+-+-+=+
   /-+-+-+-+-+-/|
  /-+-+-+-+-+-/|+
 /-+-+-+-+-+-/|+|
/-+-+-+-+-+-/|+>
+-+ + + + + ++/h
|<--------->|<
      L
Введём понятие глубины h и длины L для некоторого числа. Для этого рассмотрим L-разрядное число в произвольной системе счисления с основой H. Глубиной числа H называется количество разных элементов (символов) алфавита, в котором представлено данное число. Глубина числа соответствует основанию системы счисления и кодирования. При глубине h и длине L всего можно представить Q=h^L различных состояний, где Q - информационная ёмкость, которая экспоненциально зависит от длины числа L.
В рамках данного подхода приведём возможные конструкции подобных систем: роликовый счётчик с L роликами и h цифрами на ободке каждого ролика; комбинированный коммутатор с L переключателями, каждый из которых переключает h цепей; запоминающее устройство с L ячейками, каждое ёмкость h единиц; изображение, состоящее из L дискретных элементов, где каждый элемент изображения характеризуется h градациями цвета и тона. На практике значение Q не является удобной мерой для оценки информационной ёмкости. поэтому Хартли ввёл аддитивную (двоичную) логарифмическую меру, позволяющую вычислять количество информации в двоичных единицах (битах). I=logv2Q=logv2h^L=L*logv2h (бит). Аддитивная мера удобна тем, что количество информации пропорционально длине числа L.
При L=1 I=1 бит
I=logv(10)Q (дит)
При наличии нескольких независимых источников информации общее количество информации, которое можно получить от всех источников, равняется суммам информаций по каждому источнику I(Qv1,Qv2,...,Qvn)=I(Qv1)+I(Qv2)+...+I(Qvn).
Статистическая мера информации
При вероятностном подходе информация рассматривается как сообщение о результате случайных событий, реализации случайных величин либо функций, а количество информации ставится в зависимость от априорных вероятностей этих событий.
Случайное событие - это событие, которое может произойти или не произойти в результате эксперимента.
Если при n-кратном повторении некоторого эксперимента относительное число повторения i-го события при увеличении общего числа экспериментов n приближается к некоторой границе, то говорят, что результат данного эксперимента статистически устойчивый. Pvi=lim_(N->oo)(nvi/N). Pvi - вероятность события.
Если все возможные варианты событий представляют собой взаимоисключающий набор, то сумма вероятностей событий равняется Pv1+Pv2+...+Pvi+...+Pvk=1
Понятие энтропии