Каков наиболее эффективный способ хранения данных в моем случае?

Question

Недавно я хочу хранить миллионы пар ключ/значение на жестком диске. Данные, как это,

1. «Ключи» все строки, с различными длинами (можно использовать их хеши при необходимости)
2. «Значения» все массивы целых чисел. И массивы имеют одинаковую длину (скажем, 500) и больше не изменятся.

И я хотел бы часто искать некоторые значения по ключам через python или R. Какие базы данных следует использовать с точки зрения поиска скорости и хранения? (например, mongodb, hdf5 или sql?) Спасибо!

Answer 1

Хорошо, если вы имеете дело только с key-value парами, то Mongo должен работать лучше всего для вас. Однако, если вам все еще понадобятся некоторые функции RDBMS, посмотрите на PostgreSQL 9.5/9.6, так как последняя версия Postgre поддерживает JSON безупречно, но не так хорошо, как Mongo.

Кроме того, если big-data является одной из ваших проблем, рассмотрите возможность использования некоторого кеширования с использованием Redis с любой из баз данных, перечисленных выше.