Предотвращение OutOfMemory при использовании java.nio.MappedByteBuffer

Question

Рассмотрите приложение, которое создает 5-6 потоков, каждый поток в цикле выделяет MappedByteBuffer для размера страницы 5mb.

MappedByteBuffer b = ch.map(FileChannel.MapMode.READ_ONLY, r, 1024*1024*5); 

Рано или поздно, когда приложение работает с большими файлами, оот брошено

java.io.IOException: Map failed at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:758) 
Caused by: java.lang.OutOfMemoryError: Map failed 
     at sun.nio.ch.FileChannelImpl.map0(Native Method) 
     at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:755) 

Согласно спецификации, MappedBuffer следует располагать прямой памяти, как только он сам GC. Похоже, проблема заключается в том, что MappedBuffer's GC-ed слишком поздно, а затем завершена прямая память.

Как избежать этой ситуации? Вероятно, MappedBuffer может использовать неявно или использовать какой-то пул MappedBuffer

Answer 1

Возможно, WeakHashMap для объединения этих MappedBuffers будет работать.

Но прежде чем вы узнаете о первопричине, я бы рекомендовал подключить ваше приложение до Visual VM 1.3.3, со всеми установленными плагинами, чтобы вы могли точно видеть, что вызывает ошибку OOM. Вы предполагаете, что эти MappedBuffers делают это, но они всего 5 МБ каждый для 5-6 потоков - всего 25-30 МБ.

Лучше иметь данные, чем предполагать. Визуальная виртуальная машина получит его для вас.

Answer 2

В сообщении об ошибке говорится, что «карта не удалась», а не «пустое место» или «пространство смены». Это означает, что JVM не хватает адресного пространства.

См. this bug в базе данных Sun, а также this question.

Первое звено обеспечивает обходной путь (Ewww), который является близко, что второе звено говорит:

try { 
     buffer = channel.map(READ_ONLY, ofs, n); 
    } catch (java.io.IOException e) { 
     System.gc(); 
     System.runFinalization(); 
     buffer = channel.map(READ_ONLY, ofs, n); 
    } 

Answer 3

Вы можете избежать того, чтобы вызвать GC путем очистки отображенные буферы байта непосредственно.

public static void clean(ByteBuffer bb) { 
    if(bb == null) return; 
    Cleaner cleaner = ((DirectBuffer) bb).cleaner(); 
    if(cleaner != null) cleaner.clean(); 
} 

Если вы позвонили перед отбрасыванием, вы не закончите виртуальную память.

Может быть, вы можете посмотреть на создание более крупных ByteBuffers реже (если у вас есть большое количество файлов) Создание MappedByteBuffer не бесплатно (занимает около 50 микросекунд на некоторых машинах)

Answer 4

MappedBuffer следует утилизировать прямая память, как только она сама GC

На самом деле это не говорит, что где-нибудь, что я вижу. Есть давний пункт Парада ошибок, который гласит, что это никогда выпущено.

Он сказал так:

Поэтому рекомендуется, чтобы прямые буферы будут выделены в первую очередь для крупных долгоживущих буферов