Matlab 'entropy()' on Normal RVs

Question

Если я оцениваю энтропию вектора стандартных нормальных случайных величин, используя функцию Matlab entropy(), я получаю ответ где-то в области 4, тогда как actual entropy должен быть 0.5 * log(2*pi*e*sigma^2), который равен приблизительно равный 1,4.

Кто-нибудь знает, откуда происходит несоответствие?

Примечание: Для того, чтобы сэкономить время здесь код Matlab

for i = 1:1000 
    X(i) = randn(); 
end 

'The entropy of X is' 

entropy(X) 

Answer 1

Пожалуйста, прочтите справку (help entropy) или documentation для entropy. Вы увидите, что он предназначен для изображений и использует метод гистограммы, а не вычисляет его аналитически. Вам нужно будет создать свою собственную функцию, если вы хотите получить формулу из Википедии, но поскольку формула настолько проста, это не должно быть проблемой.

Я считаю, что причина, по которой вы получаете такие расходящиеся ответы, состоит в том, что entropy масштабирует бункеры гистограммы на количество элементов. Если вы хотите использовать такой метод оценки, вы хотите использовать hist и масштабировать ячейки по площади. См. this StackOverflow question.