Что такое ограничение размера хранилища MongoDB на 64-битных платформах? Может ли MongoDB хранить 500-900 Гб данных в одном экземпляре (узле)? Каков был самый большой объем данных, хранящихся в MongoDB, и каков был ваш опыт?MongoDB ограничение хранение размер?
Возможно, вас заинтересовала страница "production deployments" на сайте MongoDB. Много презентаций, перечисленных с информацией о инфраструктуре. Например:
http://blog.wordnik.com/12-months-with-mongodb говорит, что они хранят 3 ТБ на узел.
Вы не будете запускать где-нибудь около шапки с 1 ТБ на 64-битных системах, однако Mongo сохраняет индексы в памяти, поэтому плавный результат зависит от вашего размера индекса и от того, сколько у вас памяти. Но если у вас есть достаточно жесткая система, это не будет проблемой.
Ограничение на хранение в MongoDB для разных операционных систем приведено ниже в соответствии с ограничениями на двигатель хранения MongoDB 3.0 MMAPv1.
Механизм хранения MMAPv1 ограничивает каждую базу данных не более чем 16000 файлов данных. Это означает, что одна база данных MMAPv1 имеет максимальный размер 32 ТБ. Установка опции storage.mmapv1.smallFiles снижает этот предел до 8 ТБ.
Использование механизма хранения MMAPv1, один экземпляр mongod не может управлять набором данных, который превышает максимальное адресное пространство виртуальной памяти, предоставляемое базовой операционной системой.
Virtual Memory Limitations
Operating System Journaled Not Journaled
Linux 64 terabytes 128 terabytes
Windows Server 2012 R2
and Windows 8.1 64 terabytes 128 terabytes
Windows (otherwise) 4 terabytes 8 terabytes
Ссылка: MongoDB Database Limit.
Примечание: Механизм хранения WiredTiger не подпадает под это ограничение.
Другой способ иметь более 2 ГБ на одном узле - запустить несколько процессов mongod. Таким образом, оштрафование является одним из вариантов или выполняет ручную разбивку между процессами.
Надеюсь, что это поможет.
В нашем случае мы хрустем по годам исторических данных, полученных с определенных рынков eBay. В нашей ситуации 1ТБ, безусловно, вызывает озабоченность у нас. Не будьте слишком быстры, чтобы исключать такие большие числа. Но для ежедневного использования вы правы - 1TB довольно экстремальный. – 2010-12-01 21:04:48
@ Джошуа Бернс Я думаю, вы неправильно поняли ответ. Я считаю, что @Donnie H означало, что 1 ТБ данных не подходит к максимальной емкости MongoDB, а не к 1 ТБ - объем данных, которые никогда не будут достигнуты. – ceejayoz 2010-12-02 12:50:02