java.lang.OutOfMemoryError: превышение верхнего предела GC при загрузке файла xlsx

Question

Я понимаю, что означает ошибка, что моя программа потребляет слишком много памяти и в течение длительного периода времени она не восстанавливается.

Моя программа просто читает файл 6,2Mb xlsx при возникновении проблемы с памятью.

Когда я пытаюсь контролировать программу, она очень быстро достигает 1,2 ГБ в потреблении памяти, а затем она падает. Как он может достичь 1,2 ГБ при чтении 6,2 Мб файла?

Есть ли способ открыть файл в кусках? Так что его не нужно загружать в память? Или любое другое решение?

Именно эта деталь вызывает это. Но поскольку это библиотека, не следует ли ее каким-то образом обращаться с этим? Это всего 200 000 рядов с 3 колонками. В будущем мне нужно, чтобы он работал с ок. 1 мил записей и более столбцов ...

КОД:

Workbook myWorkBook; 
     Sheet mySheet; 
     if (filePath.contains(".xlsx")) { 
      // Finds the workbook instance for XLSX file 
      myWorkBook = new XSSFWorkbook(fis); 
      // Return first sheet from the XLSX workbook 
      mySheet = myWorkBook.getSheetAt(0); 
      myWorkBook.close(); // Should I close myWorkBook before I get data from it? 
     } 

Answer 1

Если вы хотите работать с большими файлами XLSX, вам нужно использовать класс потокового XSSFReader. Поскольку данные являются XML, вы можете использовать StAX для эффективной обработки содержимого.

Здесь (в одну сторону), как получить Inputstream от xlsx.

OPCPackage opc = OPCPackage.open(file); 
XSSFReader xssfReader = new XSSFReader(opc); 
SharedStringsTable sst = xssfReader.getSharedStringsTable(); 
XSSFReader.SheetIterator itr = (XSSFReader.SheetIterator)xssfReader.getSheetsData(); 
while(itr.hasNext()) { 
    InputStream sheetStream = itr.next(); 
    if(itr.getSheetName().equals(sheetName)) { // Or you can keep track of sheet numbers 
     in = sheetStream; 
     return; 
    } else { 
     sheetStream.close(); 
    } 
} 

элементы являются <row> и <c> (для ячейки). Вы можете создать небольшой файл xlsx, распаковать его и изучить XML внутри для получения дополнительной информации.

Редактировать: Есть некоторые examples при обработке данных с помощью SAX, но использование StAX намного приятнее и точно так же эффективно.