Высокое использование памяти с помощью STXXL

Question

Я работаю над проектом с использованием STXXL, который, как я понимаю, является базовой версией библиотеки STL C++. В настоящее время моя программа работает нормально, но проблема, с которой я столкнулся сейчас, заключается в том, что при запуске программы она использует около 2 ГБ памяти (с набором данных с низким и средним размером).

В моей программе я использую 25 векторов STXXL, хранящихся в отдельных файлах на диске. Что касается моего .stxxl-файла, я в настоящее время настроен на динамическое распределение файла диска (путем установки размера диска на 0).

Итак, мой вопрос: есть ли способ явно использовать STXXL для использования жесткого диска в отличие от ОЗУ? Или можно ли использовать этот объем памяти при использовании этой библиотеки?

Заранее благодарим за любой совет, который может предоставить.

Answer 1

Что bobb_the_builder говорит об использовании оперативной памяти в stxxl: вектор является правильным.

Смотрите следующий код:

#include <stxxl/vector> 

int main() 
{ 
    // create vector 
    //stxxl::VECTOR_GENERATOR<int>::result vector[25]; 
    stxxl::VECTOR_GENERATOR<int, 1, 1, 1*1024*1024>::result vector[25]; 

    // fill vectors with integers 
    for (size_t i = 0; i < 100 * 1024 * 1024 * 1024llu; ++i) { 
     vector[i % 25].push_back(i); 
    } 

    return 0; 
} 

В Linux, резидент размер памяти программы растет до 27528 KiB при использовании и около 1,6 ГиБ при использовании которой является.

Означает ли диспетчер Windows то же самое? Возможно, это ошибка STXXL только в Windows, или просто диспетчер задач показывает разные размеры памяти?

Answer 2

Я думаю, вы используете шаблон STXXL::VECTOR_GENERATOR, чтобы создать 25 stxxl::vector вы упомянули в своем размещении? Использование внутренней памяти stxxl::vector в целом зависит от вашей индивидуальной конфигурации (то есть block_size * page_size * cache_pages), как описано в STXXL documentation on STXXL::VECTOR_GENERATOR. Все вместе суммируется в резервном внутреннем (= основном) объеме памяти. Насколько я знаю, STXXL пытается выделить столько внутренней памяти, сколько ваши контейнеры используют (если возможно) в качестве кешей в зависимости от этих параметров шаблона.

Примечание: по умолчанию значения для указанных выше параметров шаблона являются:

page_size = 4 
cache_pages = 8 
block_size = 2 MiB 

что приводит к общему потреблению памяти 25 * (2 Мб * 4 * 8) = 1600 МИБ что объясняет огромную часть вашего сообщения о потреблении памяти в 2 ГБ.

(Примечание: Какой тип_данных (ValueType) сохраняются в вашем векторе STXXL не имеет значения.)