Управление памятью при загрузке огромных файлов XML

Question

У нас есть приложение, которое импортирует объекты из XML. XML составляет около 15 ГБ. Приложение неизменно начинает исчерпать память. Мы пытались освободить память между операциями, но это привело к снижению производительности. поэтому для завершения операции импорта требуется больше времени. Загрузка процессора достигает 100%

Приложение написано на C++.

Может ли частый звонок free() привести к проблемам с производительностью?

---

Повышен с комментария ОРОМ: синтаксический анализатор используется в эмигранте, который является SAX парсер с очень небольшим размером, и настраиваемое управлением памятью.

Answer 1

Вы пытались восстановить память и свои классы, а не освобождать и перераспределять ее? Постоянные циклы распределения/освобождения, особенно если они связаны с небольшими (менее 4096 байтов) фрагментами данных, могут привести к серьезным проблемам с производительностью и фрагментации адресного пространства памяти.

Answer 2

Использовать SAX парсер вместо DOM парсер.

Answer 3

Профиль приложения во время одной из этих назойливых нагрузок, чтобы увидеть, где он проводит большую часть своего времени.

Я считаю, что free() может быть дорогостоящим, но это, конечно, очень сильно зависит от реализации платформы.

Кроме того, вы не говорите много о длине жизни загруженных объектов; если XML составляет 15 ГБ, сколько из них хранится для каждого «объекта», после разбора разметки и выброса?

Звучит разумно обрабатывать входной документ такого размера потоковым способом, т. Е. Не пытаться выполнить DOM-подход, который загружает и строит все дерево синтаксиса XML одновременно.

Answer 4

Мы попытались освободить память между операциями, но это привело к снижению производительности.

Позволяет ли частый вызов free() привести к проблемам с производительностью?

На основании представленных доказательств да.

Поскольку вы уже используете expat, SAX-парсер, что именно вы free ing? Если вы можете освободить его, то почему вы забыли его в петле в первую очередь?

Answer 5

Возможно, это должно сказать профайлер.

Также не забывайте, что работа с кучей является однопоточной. Я имею в виду, что если стенд ваших потоков будет выделять/освобождать память в одно время, один из них будет ждать, когда это будет сделано в первый раз.

Если вы выделяете и освобождаете память для одних и тех же объектов, вы можете создать пул этого объекта и выделить/освободить один раз.

Answer 6

Попробуйте найти свой код.

Если у вас нет профилировщика, попробуйте организовать свою работу, чтобы у вас было только несколько бесплатных() команд (вместо тех, которые вы предлагаете).

Очень часто приходится находить правильный баланс между потреблением памяти и эффективностью времени.

Answer 7

Если вы хотите свести к минимуму использование памяти, взгляните на How to read the XML data from a file by using Visual C++.

Answer 8

Я сам не пробовал, но вы слышали о XMLLite, там есть MSDN artical, представляя его. Он используется MS Office внутри страны.

Answer 9

Одной вещью, которая часто помогает, является использование легкого пула памяти с низкой памятью. Если вы комбинируете это с методами распределения «frame» (игнорируя любое удаление/освобождение, пока вы не закончите с данными), вы можете получить что-то нелепое быстро.

В последнее время мы сделали это для встроенной системы, главным образом по соображениям производительности, но это также сэкономило массу памяти.

Трюк состоял в основном в том, чтобы выделить большой блок - немного больше, чем нам нужно (вы могли бы выделить цепочку блоков, если хотите), - и просто продолжайте возвращать «текущий» указатель (наталкивая его на allocSize, округленное до максимального требования к выравниванию 4 в нашем случае, каждый раз). Это сократило наши накладные расходы на каждый распределитель от порядка 52-60 байт до < = 3 байта. Мы также игнорировали «бесплатные» вызовы, пока все не закончили синтаксический анализ, а затем освободили весь блок.

Если вы достаточно умны с распределением кадров, вы можете сэкономить много места и времени. Это может не довести вас до 15GiB, но стоило бы посмотреть, сколько у вас накладных расходов ... Мой опыт работы с DOM-системами заключается в том, что они используют тонны небольших распределений, каждый из которых имеет относительно высокий уровень накладные расходы.

(Если у вас есть виртуальная память, большой «блок» не может даже повредить, что многим, если ваш доступ в любой момент времени является локальным для страницы или три равно ...)

Очевидно, что вы должны сохраняйте необходимую вам память в долгосрочной перспективе, но «царапающая память» парсера становится намного более эффективной таким образом.