Быстрая встроенная база данных

Question

Я работаю над приложением, которое должно хранить метаданные, связанные с музыкальными файлами (художник, название, счетчик пьес и т. Д.), А также наборы целых чисел (в частности, хэши SHA-1).

Решение Я собираю потребности в:

• Предоставлять «быстрой» памяти & поиска (при просмотре списка потенциально тысяч песен мне нужно, чтобы иметь возможность получить метаданные более или менее в интерактивном режиме).
• Будьте кросс-платформенными (для Linux, Windows и OSX).
• Предоставьте интерфейс, с которым я могу взаимодействовать с C++.
• Будьте свободным (или, по крайней мере, свободны, как в пиве).
• Обеспечение операций быстрого набора (объединение, пересечение, разность) - если это решение не предоставляет, но это позволит мне хранить двоичные данные, я мог бы реализовать это самостоятельно, используя технику, например "Fast Set Operations Using Treaps".
• Быть «внедренным», то есть работать без меня, чтобы fork еще один процесс, или, по крайней мере, обеспечить легкий интерфейс для этого (например, libmysqld).

Solutions Я Рассмотренные включают в себя:

• Плоские файлы. Это чрезвычайно просто, но не предоставляет никаких функций, кроме плоского хранения данных.
• SQlite. Это, кажется, очень популярный вариант, но, похоже, некоторые проблемы, связанные с производительностью и параллелизмом (см. KDE's Akonadi, для некоторых примеров).
• Встроенный MySQL/MariaDB. Кажется, это разумный вариант, но он также может быть немного тяжеловесным, учитывая, что мне не понадобятся многие сложные функции SQL.

Гипотетическое решение, которое я считаю идеальным, было бы чем-то вроде Redis, но которое сохраняет данные на диске и хранит только часть данных в памяти, чтобы быстро восстановить. Redis сам по себе не может быть хорошим вариантом, потому что 1) мне нужно будет fork его вручную, 2) его порт для Windows кажется менее твердым, и 3) сохранение всех моих данных в ОЗУ было бы менее идеальным.

Есть ли какие-либо другие решения для этого типа проблем или это одно из решений, которые я уже перечислил намного лучше, чем другие?

Answer 1

В конце концов, я решил использовать SQlite для метаданных. Кажется, что это так быстро, если не быстрее, чем, например, libmysqld, и у него действительно простой чистый C-интерфейс. Согласно эталонам, он должен быть более чем достаточно быстрым, чтобы удовлетворить мои потребности.

Для больших структур данных я планирую только их хранить в отдельных двоичных файлах (на веб-сайте SQlite говорится, что он может хранить двоичные данные, но если размер данных превышает определенную сумму, то быстрее хранить его в плоском файлы - см. this page).

Answer 2

Не храните двоичные файлы BLOBS внутри SQLite, если вы не хотите базы данных слонов. Просто сохраните строку с именем файла пути в файловой системе. Единственным недостатком SQLite является то, что он не позволяет удаленному (сетевому) доступу, но вы можете встроить его в небольшой TCP/HTTP-сервер.