Сжать/декомпрессию на основе вероятности

Question

Я сейчас читаю Fundamentals of Multimedia по Ze-Няни Li

В книге есть проблема образца, которую я не могу решить тихий, хотя я, кажется, понимаю, энтропию и арифметическое кодирование/декодирования.

Учитывая поток данных, сжатый до 100 000 бит, и сказал, что это результат запуска «идеального» энтропийного кодера в последовательности данных. Вам также сообщается, что исходные данные состоят из образцов непрерывного сигнала, квантованных на 2 бита на образец. Вероятности несжатых следующие значения:

00 - 8/16 
01 - 6/16 
10 - 1/16 
11 - 1/16 

Как бы я выяснить приблизительную длину несжатого сигнала?

Answer 1

Поскольку вы «понимаете энтропию», вы можете просто использовать формулу для энтропии, чтобы выполнить домашнюю работу. Вот намек надгробной плите Больцмана: