java «Ошибка OutOfMemory» Приложение Jena

Я пытаюсь использовать метод чтения Jena для чтения наборов данных большого размера (более 1 ГБ), но я получаю ошибку из памяти. Я попробовал увеличить tomcat heapsize (-Xmx parameter) до 2048, также тот же параметр в файле eclipse.ini. Однако я не смог получить рабочее решение. . Я открыт для любых предложений о том, как обращаться с большими наборами данных, поскольку я буду разбирать наборы данных в хэшмапах и отображать содержимое на веб-странице.java «Ошибка OutOfMemory» Приложение Jena

ошибка консоли ниже:

Exception in thread "http-bio-8080-AsyncTimeout" java.lang.OutOfMemoryError: GC overhead limit exceeded 
    at java.util.concurrent.ConcurrentLinkedQueue.iterator(ConcurrentLinkedQueue.java:667) 
    at org.apache.tomcat.util.net.JIoEndpoint$AsyncTimeout.run(JIoEndpoint.java:157) 
    at java.lang.Thread.run(Thread.java:745) 
Exception in thread "http-bio-8080-exec-6" java.lang.OutOfMemoryError: GC overhead limit exceeded 
    at java.util.concurrent.CopyOnWriteArrayList.iterator(CopyOnWriteArrayList.java:959) 
    at com.hp.hpl.jena.graph.impl.SimpleEventManager.notifyAddTriple(SimpleEventManager.java:91) 
    at com.hp.hpl.jena.graph.impl.GraphBase.notifyAdd(GraphBase.java:124) 
    at com.hp.hpl.jena.graph.impl.GraphBase.add(GraphBase.java:203) 
    at org.apache.jena.riot.system.StreamRDFLib$ParserOutputGraph.triple(StreamRDFLib.java:165) 
    at org.apache.jena.riot.lang.LangNTriples.runParser(LangNTriples.java:56) 
    at org.apache.jena.riot.lang.LangBase.parse(LangBase.java:42) 
    at org.apache.jena.riot.RDFParserRegistry$ReaderRIOTLang.read(RDFParserRegistry.java:182) 
    at org.apache.jena.riot.RDFDataMgr.process(RDFDataMgr.java:906) 
    at org.apache.jena.riot.RDFDataMgr.read(RDFDataMgr.java:257) 
    at org.apache.jena.riot.RDFDataMgr.read(RDFDataMgr.java:243) 
    at org.apache.jena.riot.adapters.RDFReaderRIOT_Web.read(RDFReaderRIOT_Web.java:96) 
    at com.hp.hpl.jena.rdf.model.impl.ModelCom.read(ModelCom.java:235) 
    at com.packages.rdf.FileAnalyse.GetFileComponents(FileAnalyse.java:77) 
    at com.packages.servlets.CreatePatternServlet.GetStatements(CreatePatternServlet.java:96) 
    at com.packages.servlets.CreatePatternServlet.doPost(CreatePatternServlet.java:68) 
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:646) 
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:727) 
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:303) 
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) 
    at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52) 
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241) 
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) 
    at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:220) 
    at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:122) 
    at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:501) 
    at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:171) 
    at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:103) 
    at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:950) 
    at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:116) 
    at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:408) 
    at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1070) 

Exception in thread "ContainerBackgroundProcessor[StandardEngine[Catalina]]" java.lang.OutOfMemoryError: GC overhead limit exceeded 
    at org.apache.naming.resources.FileDirContext.file(FileDirContext.java:765) 
    at org.apache.naming.resources.FileDirContext.doGetAttributes(FileDirContext.java:398) 
    at org.apache.naming.resources.BaseDirContext.getAttributes(BaseDirContext.java:1137) 
    at org.apache.naming.resources.BaseDirContext.getAttributes(BaseDirContext.java:1090) 
    at org.apache.naming.resources.ProxyDirContext.getAttributes(ProxyDirContext.java:882) 
    at org.apache.catalina.loader.WebappClassLoader.modified(WebappClassLoader.java:1026) 
    at org.apache.catalina.loader.WebappLoader.modified(WebappLoader.java:500) 
    at org.apache.catalina.loader.WebappLoader.backgroundProcess(WebappLoader.java:420) 
    at org.apache.catalina.core.ContainerBase.backgroundProcess(ContainerBase.java:1345) 
    at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.processChildren(ContainerBase.java:1546) 
    at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.processChildren(ContainerBase.java:1556) 
    at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.processChildren(ContainerBase.java:1556) 
    at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.run(ContainerBase.java:1524) 
    at java.lang.Thread.run(Thread.java:745) 
Exception in thread "http-bio-8080-exec-6" java.lang.OutOfMemoryError: GC overhead limit exceeded 
    at org.apache.jena.riot.tokens.TokenizerText.parseToken(TokenizerText.java:170) 
    at org.apache.jena.riot.tokens.TokenizerText.hasNext(TokenizerText.java:86) 
    at org.apache.jena.atlas.iterator.PeekIterator.fill(PeekIterator.java:50) 
    at org.apache.jena.atlas.iterator.PeekIterator.next(PeekIterator.java:92) 
    at org.apache.jena.riot.lang.LangEngine.nextToken(LangEngine.java:99) 
    at org.apache.jena.riot.lang.LangNTriples.parseOne(LangNTriples.java:71) 
    at org.apache.jena.riot.lang.LangNTriples.runParser(LangNTriples.java:54) 
    at org.apache.jena.riot.lang.LangBase.parse(LangBase.java:42) 
    at org.apache.jena.riot.RDFParserRegistry$ReaderRIOTLang.read(RDFParserRegistry.java:182) 
    at org.apache.jena.riot.RDFDataMgr.process(RDFDataMgr.java:906) 
    at org.apache.jena.riot.RDFDataMgr.read(RDFDataMgr.java:257) 
    at org.apache.jena.riot.RDFDataMgr.read(RDFDataMgr.java:243) 
    at org.apache.jena.riot.adapters.RDFReaderRIOT_Web.read(RDFReaderRIOT_Web.java:96) 
    at com.hp.hpl.jena.rdf.model.impl.ModelCom.read(ModelCom.java:235) 
    at com.packages.rdf.FileAnalyse.GetFileComponents(FileAnalyse.java:77) 
    at com.packages.servlets.CreatePatternServlet.GetStatements(CreatePatternServlet.java:96) 
    at com.packages.servlets.CreatePatternServlet.doPost(CreatePatternServlet.java:68) 
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:646) 
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:727) 
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:303) 
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) 
    at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52) 
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241) 
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) 
    at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:220) 
    at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:122) 
    at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:501) 
    at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:171) 
    at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:103) 
    at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:950) 
    at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:116) 
    at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:408)

источник

2015-03-18 emrahozkan

Просто потому, что ваш файл составляет 1 ГБ, это не значит, что вы будете использовать только 1 ГБ в памяти - это часто намного больше, по разным причинам. Можете ли вы попробовать увеличить размер кучи на что-то намного выше, например 8 или 16 ГБ? (Кстати, вам не нужно писать «2048M» - вы можете просто написать «2G», и он делает ту же сумму) – childofsoong

Я пробовал до 4g, но для этого приложения мне, возможно, придется анализировать файл на 10 gb, поэтому я не знаю, будет ли это достаточно – emrahozkan

Тогда вам, возможно, придется найти библиотеку, которая не пытается сразу загрузить весь файл в память. Боюсь, я не знаю ничего, что делает это с моей головы. Однако может ли ваш анализ, возможно, быть запущен на нескольких небольших файлах, а затем собрать вместе? Если это так, вы можете разбить гигантский файл на более мелкие. – childofsoong

убедиться в этом: GC overhead limit exceeded

Я думаю, что вы должны обязательно настроить GC. Пройдите статью о оракуле о реализации gc и, возможно, у вас будет некоторый прогресс.

источник

2015-03-18 22:54:37 Radek

java «Ошибка OutOfMemory» Приложение Jena

ответ

Смежные вопросы