Я разрабатываю программу анализа текста, которая представляет документы как массивы «счетчиков функций» (например, вхождения определенного токена) в пределах некоторого заранее определенного пространства объектов. Эти массивы сохраняются в ArrayList после некоторой обработки.Обработка больших массивов, которые не соответствуют оперативной памяти в Java
Я тестирую программу на 64-битном наборе данных с 50 000 записей. Программа отлично работала с небольшими наборами данных, но теперь она последовательно выдает исключение «из памяти» Java heap exception, когда я начинаю загрузку массивов в объект ArrayList (используя метод .add (double [])). В зависимости от того, сколько памяти я выделяю в стек, я получу это исключение в 1000-ом и 3000-м дополнениях к ArrayList, что намного меньше моих 50 000 записей. Мне стало ясно, что я не могу хранить все эти данные в ОЗУ и работать с ним, как обычно.
Тем не менее, я не уверен, какие структуры данных лучше всего подходят для доступа и выполнения расчетов по всему набору данных, когда только часть его может быть загружена в ОЗУ?
Я думал, что сериализация данных на диск и сохранение местоположений в хэш-карте в ОЗУ будет полезна. Тем не менее, я также видел обсуждения по кэшированию и буферизации.
Я на 100% уверен, что это общая проблема с CS, поэтому я уверен, что есть несколько разумных способов решения этой проблемы. Все указатели будут оценены :-)
Используйте datadase, который позволит либо запросить небольшое подмножество, либо выполнить какой-либо другой анализ (например, запущенные функции или объединения) и который поддерживает курсоры (поэтому он не загружает весь набор в память) или какой-либо другой кеш памяти/сопоставления – MadProgrammer
@MadProgrammer благодарит ... как насчет файлов с отображением карты памяти? –
Прежде чем использовать файлы с отображением памяти (непосредственно), это трудно сказать. Моя основная проблема заключалась бы в том, что если данные должны быть «Serializable» – MadProgrammer