Практический способ объяснения «Теория информации»

Question

Теория информации вступает в игру, где когда-либо кодируется & декодирование. Например: сжатие (мультимедиа), криптография.

В Теории информации мы встречаем такие термины, как «Энтропия», «Информация о себе», «Взаимная информация» и весь предмет на основе этих терминов. Это просто звучит не что иное, как абстрактный. Честно говоря, они действительно не имеют никакого смысла.

Есть ли какие-либо книги/материалы/пояснения (если можно), которые объясняют это практическим способом?

EDIT:

An Introduction to Information Theory: symbols, signals & noise by John Robinson Pierce является Книга, что объясняет его так, как я хочу (практически). Слишком хорошо. Я начал его читать.

Answer 1

Оригинальная статья Шанона «A mathematical theory of communication» является одним очень важным ресурсом для изучения этой теории. Никто НИКТО не должен его пропустить.

Прочитав это, вы поймете, как Шанон пришел к теории, которая должна устранить большинство сомнений.

Также изучение обработки алгоритма сжатия Хаффмана будет очень полезна.

EDIT:

Введение в теории информации

Джон Р. Пирс

кажется хорошим по Амазонке обзоров (я не пробовал).

[по Googleing «Теория информации мирянин»]

Answer 2

Я собирался рекомендовать Фейнман для целей поп-Sci, но по размышлении я думаю, что это может быть хорошим выбором для ослабления в серьезное исследование, а также. Вы не можете действительно знать этот материал без получения математики, но Фейнман настолько впечатляющий, что он пробирает математику, не пугая лошадей.

Feynman Lectures on Computation http://ecx.images-amazon.com/images/I/51BKJV58A9L._SL500_AA240_.jpg

Covers, а больше земли, чем просто теория информации, но хороший материал и приятно читать. (Кроме того, я обязан тянуть за сборную физики. Rah! Rah! Рхи!)

Answer 3

Мой собственный взгляд на «Теория информации» является то, что он по существу только прикладной математики/статистики, но, поскольку она применяется к сообщениям/это называется «Теория информации».

Лучший способ начать понимание концепций - установить себе настоящую задачу. Скажем, например, возьмите несколько страниц своего любимого блога, сохраните его как текстовый файл, а затем попытайтесь уменьшить размер файла, гарантируя, что вы все равно сможете полностью восстановить файл (например, без потерь). Вы начнете, например, заменять все экземпляры и с помощью, например, 1.

Я всегда обучения мнения, делая будет лучшим подходом

Answer 4

Я помню статьи, я думаю, Personal Computer World, который представил версию ID3 для идентификации монет, хотя он использовал эвристический альтернативу к формуле регистрации. Я думаю, что это минимизировало суммы квадратов, а не увеличивало энтропию - но это было давно. В (по моему мнению) была еще одна статья, которая использовала формулу журнала для информации (не энтропии) для подобных вещей. Такие вещи помогли мне справиться с этой теорией.

EDIT - «не энтропия» Я имею в виду, что он использовал средневзвешенные значения информации, но не использовал имя «энтропия».

Я думаю, что построение простых деревьев решений из таблиц решений - очень хороший способ понять взаимосвязь между вероятностью и информацией. Это делает связь с вероятностью информацией более интуитивной, и в ней приводятся примеры взвешенного среднего, чтобы проиллюстрировать эффект, максимизирующий энтропию сбалансированных вероятностей. Очень хороший день - один вид урока.

И что также приятно, то вы можете заменить, что дерево принятия решений с декодированием деревом Хаффмана (который является, в конце концов, «который лексема я декодированием?» Дерева решений) и сделать эту ссылку на кодирование.

BTW - посмотрите на эту ссылку ...

• http://www.inference.phy.cam.ac.uk/mackay/

Mackay есть бесплатный загружаемый учебник (и доступны в печатном виде), и пока я не прочитал все , части, которые я прочитал, выглядели очень хорошо. Объяснение «объяснения» в Байесе, в первую очередь, стр. 293, имеет в виду.

CiteSeerX очень полезный ресурс для теории информации работ (среди прочего) .Two интересные документы являются ...

• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.2410
• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.51.3672

Хотя CN2, вероятно, не день один материал.

Answer 5

Теория информации имеет очень эффективные приложения, например. машинного обучения и интеллектуального анализа данных. в частности, визуализация данных, выбор переменных, преобразование данных и прогнозы, теоретико-информационные критерии являются одними из самых популярных подходов.

См., Например,

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf или http://www.mdpi.com/1424-8220/11/6/5695

Теория информации позволяет нам приблизиться к оптимальной уплотнению данных формальным способом, например,с точки зрения задних распределений и Маркова одеялко:

http://www.mdpi.com/1099-4300/13/7/1403

Это позволяет получить верхние и нижние оценки вероятности ошибки в выборе переменной:

http://www.mdpi.com/1099-4300/12/10/2144

Одним из преимуществ используя теорию информации по сравнению со статистикой, заключается в том, что не обязательно устанавливать распределение вероятностей. Можно вычислить информацию, избыточность, энтропию, энтропию переноса, не пытаясь вообще оценить распределение вероятностей. Выделение переменной без потери информации определяется с точки зрения сохранения условных задних вероятностей, с использованием теории информации можно найти аналогичные формулировки ... без необходимости вычисления плотностей вероятности. Какуляции скорее с точки зрения взаимной информации между переменными, так и в литературе обеспечили множество эффективных оценок и более низких размерных аппроксимаций для них. См: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi.com/1424-8220/11/6/5695

Answer 6

Я мог бы предложить эту книгу Glynn Winskel. Он использовался в моем университете для курса «Теория информации». Он начинается с логической теории, а затем определяет простой императивный язык, называемый IMP, и он следует со многими понятиями о формальной семантике в языке.

Формальные Семантика языков программирования

http://mitpress.mit.edu/books/formal-semantics-programming-languages

Answer 7

Хотя, понятия могут быть абстрактными, но они находят хорошее применение в последнее время в области машинного обучения/Искусственный интеллект. Это может послужить хорошей мотивацией для практической необходимости в этой теоретической концепции. Итак, вы хотите оценить, насколько хорошо ваш функциональный аппроксиматор (LSTM, RNN или CNN или линейная регрессия) хорошо справляется с моделированием истинного распределения - это взаимная информация или относительная энтропия, например, минимизировать кросс-энтропию в cnn или минимизировать функцию искажения/расстояние в линейной регрессии.

Кроме того, вы не будете создавать полезную коммуникационную или сетевую систему без теоретического анализа пропускной способности и свойств канала.

В сущности, он может выглядеть теоретическим, но он находится в центре нынешнего возраста общения.

Чтобы получить более подробный взгляд на то, что я имею в виду, я приглашаю вас посмотреть этот ISIT лекцию: https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s профессора Дэвид TSE