Groovy neo4j batch import

Question

Я использую этот скрипт http://jexp.de/blog/2014/10/flexible-neo4j-batch-import-with-groovy/ для импорта файла csv в neo4j. Файл довольно большой: около 60 миллионов строк. Я выделил 30 ГБ памяти для свойств, 30 ГБ для узлов и 30 ГБ для остальных. Тем не менее, импортер застрял на 49 миллионов линий. Это проблема памяти?

Выход выглядит следующим образом

48800000 линий, обработанных в х секунд 48900000 линии, обработанных в секундах у , а затем он останавливает обработку и не движется.

Answer 1

Вы пропустили свои отношения? Те являются наиболее важным И я забыл один в исходном примере, который является

neostore.relgroupstore.db=10MB

15 байт на узле 38 байтов в отношениях 42 байта на 4 свойства

и делать у вас на самом деле 128 ГБ оперативной памяти? Чтобы разместить карту памяти?

Какая ОС вы используете?

О, и в конце он довольно долго останавливается, чтобы создать индексы и ограничения, что может быть так.

Вы можете добавить выход до этого.