Невозможно выполнить массовую индексацию для большого файла в elasticsearch

Question

Я пытаюсь выполнить массовое индексирование в elasticsearch с помощью Python для большого файла (~ 800 МБ). Тем не менее, каждый раз, когда я пытаюсь

[2016-01-08 15: 06: 49354] [WARN] [http.netty] [Marvel Человек] Caught исключение при обращении клиента HTTP тра ffic, закрытие соединения [ID: 0x2d26baec,/0: 0: 0: 0: 0: 0: 0: 1: 58923 =>/0: 0: 0: 0: 0: 0: 0: 1: 9200] org.jboss.netty.handler. codec.frame.TooLongFrameException: длина содержимого HTTP превысила 104857600 байт. на org.jboss.netty.handler.codec.http.HttpChunkAggregator.messageReceived (HttpChunkAggregator.java:169) в org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream (SimpleChannelUpstreamHandler.java:70) в org.jboss. netty.channel.DefaultChannelPipeline.sendUpstream (DefaultChannelPipeline.java:564) в org.jboss.netty.channel.DefaultChannelPipeline $ DefaultChannelHandlerContext.sendUpstream (DefaultChannelPipeli ne.java:791) в org.jboss.netty.handler.codec. http.HttpContentDecoder.messageReceived (HttpContentDecoder.java:135) на org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream (SimpleChannelUpstreamHandler.java:70) в org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream (DefaultChannelPipelin e.java:564) в org.jboss.netty.channel.DefaultChannelPipeline $ DefaultChannelHandlerContext.sendUpstream (DefaultChannelPipeli ne.java:791) в org.jboss.netty.channel.Channels.fireMessageReceived (Channels.java:296) на org.jboss.netty.handler.codec.frame.FrameDecoder.unfoldAndFireMessageReceived (FrameDecoder.java:459) на org.jboss.netty.handler.codec.replay.ReplayingDecoder.callDecode (ReplayingDecoder.java:536) на org.jboss.netty.handler.codec.replay.ReplayingDecoder.messageReceived (ReplayingDecoder.java:435) на org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream (SimpleChannelUpstreamHandler.java:70) на org.jboss.netty. channel.DefaultChannelPipeline.sendUpstream (DefaultChannelPipeline.java:564) в org.jboss.netty.channel.DefaultChannelPipeline $ DefaultChannelHandlerContext.sendUpstream (DefaultChannelPipeli ne.java:791) в org.elasticsearch.common.netty.OpenChannelsHandler.handleUpstream (OpenChannelsHandler.java:75) в org.jboss. netty.channel.DefaultChannelPipeline.sendUpstream (DefaultChannelPipeline.java:564) на org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream (DefaultChannelPipeline.java:559) на org.jboss.netty.channel.Channels.fireMessageReceived (Каналы. java: 268) на org.jboss.netty.channel.Channels.fireMessageReceived (Channels.java:255) на org.jboss.netty.channel.socket.nio.NioWorker.read (NioWorker.java:88) at org.jboss.netty.channel.socket.nio.AbstractNioWorker.process (Abstrac tNioWorker.java:108) at org.jboss.netty.channel.socket.nio.AbstractNioSelector.run (AbstractNioSelector.java:337) на org.jboss.netty.channel.socket.nio.AbstractNioWorker.run (AbstractNioWorker. java: 89) на org.jboss.netty.channel.socket.nio.NioWorker.run (NioWorker.java:178) на org.jboss.netty.util.ThreadRenamingRunnable.run (ThreadRenamingRunnable.java:108) at org.jboss.netty.util.internal.DeadLockProofWorker $ 1.run (DeadLockProofWorker.java:42) at java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor $ Worker .run (ThreadPoolExecutor.java:617) на java.lang.Thread.run (Thread.java:745)

Может кто-нибудь, пожалуйста, помогите мне понять, что здесь происходит, и как я могу решить эту проблему?

Answer 1

Необходимо увеличить длину загрузки контента, которая по умолчанию равна 100 МБ. Перейти к elasticsearch.yml в конфигурации папки

добавить/обновление -

http.max_content_length: 300M