Хранение инвертированного индекса

Question

Я работаю над проектом по поиску информации. Я сделал полный инвертированный указатель, используя Hadoop/Python. Hadoop выводит индексы как пары (слова, документы), которые записаны в файле. Для быстрого доступа я создал словарь (хеш-таблицу), используя указанный выше файл. Мой вопрос: как я могу хранить такой индекс на диске, который также имеет быструю доступность. В настоящее время я храню словарь с использованием модуля пиренейского пика и загружаю из него , но он сразу выводит весь индекс в память (или делает это?). Просьба предложить эффективный способ хранения и поиска по индексу.

Мой словарь структура выглядит следующим образом (с использованием вложенных словарей)

{слово: {doc1: [места], doc2: [места], ....}}

так, что я могу получить документы, содержащие слово словарь [слово] .keys() ... и так далее.

Answer 1

shelve

В настоящее время я хранение словаря с помощью питона рассол модуля и загрузка из него, но она приносит весь индекс в памяти сразу (или делает это?).

Да это принесет все это.

Это проблема? Если это не настоящая проблема, тогда придерживайтесь ее.

Если это проблема, какая у вас проблема? Слишком медленно? Слишком быстро? Слишком красочно? Слишком много памяти? Какая у вас проблема?

Answer 2

Просто хранить его в строку, как это:

<entry1>,<entry2>,<entry3>,...,<entryN> 

Если <entry*> содержит «», используйте какой-либо другой разделитель, как „\ т“. Это меньше по размеру, чем эквивалентная маринованная строка.

Если вы хотите, чтобы загрузить его, просто сделать:

L = s.split(delimiter) 

Answer 3

Вы можете хранить магнезии() словаря и использовать, чтобы воссоздать его.

Answer 4

Если загрузка или использование слишком большого объема памяти занимает много времени, вам может понадобиться база данных. Их можно использовать много; Я бы, наверное, начинал с SQLite. Тогда ваша проблема «снижена» ;-), чтобы просто сформулировать правильный запрос, чтобы получить то, что вам нужно из базы данных. Таким образом, вы загружаете только то, что вам нужно.

Answer 5

Я бы использовал Lucene. Зачем изобретать колесо?

Answer 6

Я использую anydmb для этой цели. Anydbm предоставляет тот же словарь-подобный интерфейс, за исключением того, что он позволяет использовать только строки как ключи и значения. Но это не является ограничением, так как вы можете использовать нагрузки/дампы cPickle для хранения более сложных структур в индексе.