быстрого поиска в питоне

Question

У меня есть записи (~ 88 миллионов людей) в следующем формате:

userid age test value 
111 33 SODIUM 140 
111 34 POTASSIUM 4.1 
333 65.4 CHLORIDE 107 
444 24 BICARBONATE 24 

мне нужно создать быстрый поиск для value в последнем столбце приведен первый три пункта (т.е. . userid, age, test).

Каков наилучший способ повторного поиска в этих данных? Я думаю, что это создать словарь, в котором keys являются кортежем (userid, age, test) и значениями являются value. В прошлом я использовал подобный метод, и этот метод был очень медленным на гораздо меньших данных.

Answer 1

Wo, wo, wo there. 88 миллионов? Как и в, 88 000 000?

Вы должны использовать базу данных. Попробуйте redis для очень легкой, быстрой альтернативы. Вы можете использовать первые три значения для ключа.

redis даже даст вам отличные операции над данными, вы можете сэкономить себе путешествие.

Answer 2

Если вы не заботитесь об использовании памяти: включите в dict. Обратите внимание, что вышеупомянутое, вероятно, будет использовать всю вашу память, если у вас нет лота. Сделайте это пополам и посмотрите, сколько вы можете загрузить. Быстрый тест показывает, что вам нужна не менее 16 ГБ встроенной памяти.

В противном случае: используйте базу данных. SQLite включен, PostgreSQL хорош для профессионального использования, но есть нагрузки и множество альтернатив, включая NoSQL, такие как Redis и т. Д., Которые могут быть хорошими здесь.

Answer 3

Вы должны использовать базу данных, у вас слишком много записей. Работа базы данных - это поиск и индексы по большому количеству данных.