0
Предположим, что кортеж из четырех строк (дата, имя, тип, цена) генерируется каждые 10 секунд. Я пишу программу на Python, чтобы хранить эти кортежи на диске для дальнейшего использования (только чтение). Будут миллионы кортежей, поэтому здесь важна операция «вставки». Какое лучшее решение этой проблемы? SQLite, Postgres, MongoDB или плоский файл?База данных или плоский файл для миллионов записей?
Я прочитаю почти все данные в памяти, от начала до конца. Мне не нужны сложные реляционные чтения. Например, «SELECT price FROM table» - это то, что мне нужно. Я вообще не буду использовать какие-либо индексы.
«только чтение» немного расплывчато ... *** как *** данные прочитаны? Если вам нужны случайные чтения, плоские файлы не будут забавными. Если вам нужны сложные реляционные чтения, используйте СУРБД. Если нет, монго может быть лучшим выбором ... Какие типы индексов вам понадобятся и т. Д. - это очень широкий вопрос и слишком мало информации. Кроме того, в одной вставке каждые 10 секунд, 100M займет более 31 года ... – mnemosyn
Я прочитаю почти все данные в памяти, от начала и до конца. Мне не нужны сложные реляционные чтения. Например, «SELECT price FROM table» - это то, что мне нужно. Я вообще не буду использовать какие-либо индексы. –
Тогда спросите себя о нефункциональных требованиях (репликация, что происходит при сбое и т. Д.). Плоские файлы будут делать это, и они всегда бывают самыми быстрыми, но я лично выбрал mongodb. С WiredTiger вы также получаете сжатие, которое, вероятно, полезно для этого случая ... Во всяком случае, я бы сказал, что это вопрос предпочтения, любая база данных может справиться с этим, так же как и плоские файлы ... – mnemosyn