Flink умирает; OutOfMemory в Directr буферной памяти

Question

При развертывании Flink, я получил следующие Oom сообщения об ошибках:

org.apache.flink.runtime.io.network.netty.exception.LocalTransportException: java.lang.OutOfMemoryError: Direct buffer memory at org.apache.flink.runtime.io.network.netty.PartitionRequestClientHandler.exceptionCaught(PartitionRequestClientHandler.java:153) at io.netty.channel.AbstractChannelHandlerContext.invokeExceptionCaught(AbstractChannelHandlerContext.java:246) at io.netty.channel.AbstractChannelHandlerContext.fireExceptionCaught(AbstractChannelHandlerContext.java:224) at io.netty.channel.ChannelInboundHandlerAdapter.exceptionCaught(ChannelInboundHandlerAdapter.java:131)

Caused by: io.netty.handler.codec.DecoderException: java.lang.OutOfMemoryError: Direct buffer memory at io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:234) at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308) ... 9 more

Caused by: java.lang.OutOfMemoryError: Direct buffer memory at java.nio.Bits.reserveMemory(Bits.java:658) at java.nio.DirectByteBuffer.(DirectByteBuffer.java:123) at java.nio.ByteBuffer.allocateDirect(ByteBuffer.java:311)

я установил 'taskmanager.network.numberOfBuffers: 120000' в Flink-конф файл, но он не работает.

Количество TaskManger: , память на TaskManager: 16GB, сердечников в TaskManager: , Количество слотов на TasmNager:

Для работы я бежал, я использовал параллелизм как 25, а файл необработанных данных - около 300 ГБ, и есть много операций объединения, которые, я думаю, требуют большого количества сетевых коммуникаций.

Пожалуйста, дайте мне знать, если у вас есть какие-либо идеи о том, что происходит здесь

Answer 1

Какая версия Флинка вы используете? У Flink 0.10.0 и 0.10.1 есть проблема с обновленной версией Netty. Эта проблема была исправлена ​​примерно 3 недели назад и еще не доступна в выпуске.

Уточнено в ветке master (опубликовано как 1.0-SNAPSHOT) или ветке 0.10.