Почему эти изображения имеют одинаковую энтропию?

Question

Почему эти два изображения имеют одинаковую энтропию?

Эти изображения создаются в MATLAB следующим образом:

N = 50; 
Z1 = randi([0 1],N); 
Z2 = zeros(N); 
Z2(1:2:N,1:2:N) = 1; 
Z2(2:2:N,2:2:N) = 1; 
subplot(1,2,1) 
imshow(Z1,'InitialMagnification',800) 
subplot(1,2,2) 
imshow(Z2,'InitialMagnification',800); 

И их "энтропия" вычисляется как:

entropy(Z1) 
entropy(Z2) 

что приводит к равным 1,0000.

В помощи говорится, что энтропия равна -sum (p. * Log2 (p)), где p - счетчик, возвращаемый из imshist. Мне трудно поверить, что эти фотографии имеют такое же «количество случайности», как мы видим, что один на них упорядочен, а другой абсолютно случайный. И что?

Answer 1

Это потому, что функция entropy вычисляет нулевого порядка (эмпирическое) энтропия. Это означает, что пиксели рассматриваются изолированным образом, не сравнивая их с окружающими пикселями.

Таким образом, структура вы видите на втором изображении (цвет пикселя зависит от окружающих пикселей) не принимается во внимание. Скорее, вычисление учитывает только (как получено imhist) черно-белых пикселей; и эта пропорция примерно одинакова на обоих изображениях.

Вы также можете увидеть это так: пространственная структура теряется при вычислении энтропии (нулевого порядка), так же, как пространственная связь между пикселями теряется при вычислении гистограммы изображения.

В качестве побочного примечания результирующая энтропия на самом деле немного меньше 1 в Z1 с высокой вероятностью, поскольку энтропия нулевого порядка максимизируется, когда доля равна 1/2. Попробуйте с format long и вы увидите что-то вроде:

>> format long 
>> entropy(Z1) 
ans = 
    0.999663421925701 
>> entropy(Z2) 
ans = 
    1 

---

^{Это также можно назвать первого порядка энтропии. Вызов «нулевого порядка» имеет смысл с точки зрения Цепи Маркова, как цепь Маркова нулевого порядка, производит статистически независимые значения. С другой стороны, название «первый порядок» имеет смысл с точки зрения статистических распределений . Распределение случайного процесса первого порядка определяет вероятности возможных значений в данный момент/позицию без учета статистической зависимости со значениями в других моментах/положениях.}