neo4j webser не удалось пометить транзакцию только как откат

Question

Я недавно скачал neo4j 2.1.5. Я использую webadmin (т. Е. Интерфейс браузера). Теперь мне нужно скачать довольно большой набор данных, около 20 миллионов записей. Я смог прокормить 5 млн без проблем.

Однако я не могу сделать это с помощью более крупного (20 миллионов) набора данных. Я использую команду load csv с 1000 за фиксацию (но я пробовал 5, 10, 100, 10000, 100000). Я пробовал много разных настроек (cache_type = none, слабый, с использованием буферов os или с использованием собственного neo4j), но мне удалось получить только ошибки «Java Heap Space» или «Failed to not transaction only only rollback only». Я также пробовал использовать разные настройки для начального и максимального использования ram. Я попытался разделить файл на куски по 5 миллионов каждый, но когда я пытаюсь прокормить файл, я получаю ту же ошибку (пространство Java Heap).

Одна вещь, которую я замечаю, однако, когда я запускаю «free -h», секция кеша начинает быстро расти, а после 2,5 ГБ она выдает ошибку. Даже если я скажу neo4j не использовать буферы и кеши OS, я использую linux ubuntu, jdk 1.8 с 64 битами, 8 ГБ оперативной памяти на машине.

Я смог прокормить 20 миллионов записей на другой машине (OS X Mavericks, jdk 1.8 с 64-разрядным, 4-бит Ram на машине). Так что я удивляюсь, что пошло не так с Ubuntu? Кто-нибудь столкнулся с этой проблемой? Кажется, я не вижу подобных случаев в Интернете. Я был бы очень признателен, если бы вы могли указать на возможное решение или дать полезные ссылки.

Answer 1

      Почти забыл! Я смог решить проблему.
      Оказалось, что проблема была в некорректном входном файле, который содержал двойные кавычки («) в случайных местах. Примером может быть запись, которая выглядит так: имя, фамилия, O« что-то »,« дата ». Neo4j предполагает, что между двумя двойными кавычками подразумевается единая сущность, даже новые символы строки. Таким образом, neo4j будет потреблять миллионы строк, прежде чем он встретит второй символ. Следовательно, создавая узел, он попытался бы поместить миллионы строк в одно поле в узле. Если у него недостаточно места для кучи, чтобы вписаться во все линии между кавычками, это вызовет ошибку: «Java Heap space», «не удалось пометить транзакцию только как откаты» и т. д. Если у нее будет достаточно пустое место, это создаст огромное поле для узла.

      Если вы помещаете двойные кавычки вокруг каждого столбца в файл csv: «имя», «фамилия», «O» что-то »,« дата », вы все равно сталкиваетесь с проблемами памяти. Как вы можете видеть в предыдущем примере, запятые и новые строки не будут вступать в силу, поскольку они завернуты в кавычки.
      Я прошел через файл и заменил все двойные кавычки одиночной цитатой, используя команду sed.