Организация документов в сетке в соответствии с подобием контента

Question

Как можно разместить документы в пространстве (например, несколько сеток), чтобы позиция, в которой они были размещены, содержит информацию о том, насколько они похожи на другие документы. Я посмотрел на кластеризацию K-media, но это немного вычислительно интенсивно, если данные большие. Я ищу что-то вроде хэширования содержимого документа, чтобы они могли вписаться в большое пространство, а похожие документы будут иметь похожие хэши, а расстояние между ними будет небольшим. В этом случае было бы легко найти документы, похожие на данный документ, без дополнительной работы.

В результате может быть что-то похожее на изображение ниже. В этом случае музыкальные документы находятся рядом с документами на пленке, но вдали от документов, связанных с компьютерами. Коробку можно рассматривать как весь мир документов.

Любая помощь будет принята с благодарностью.

Благодаря

jvc007

Answer 1

Один из способов ввести расстояние или меру сходства между документами являются:

• первой закодировать ваши документы в виде векторов, например, с использованием TF-IDF (см https://en.wikipedia.org/wiki/Tf%E2%80%93idf)

• скалярное произведение между двумя векторами, относящееся к двум документам, дает вам оценку относительно сходства документы. Чем больше это значение, тем выше сходство.

Использование МДС (http://en.wikipedia.org/wiki/Multidimensional_scaling) на эти сходства должны помочь визуализировать документы в двухмерном участке.

Answer 2

Проблема сопоставления высокоразмерных данных в низкоразмерном пространстве при сохранении подобия может быть решена с использованием Self-organizing map (сеть SOM или Kohonen). Я уже видел некоторые заявки на документы.

Я не знаю ни одной реализации python (может быть такой), но есть хороший для Matlab (SOM toolbox).

Answer 3

Я думаю, что вы ищете locality-sensitive hashing. См. this answer для приятного графического объяснения и кода примера.