Neo4j нескончаемого медленный узла создания

Question

есть набор данных в CSV-файл с форматом

"title"|year|"word" 
"Into the Wild"|2007|"abandoned-bus" 
"Into the Wild"|2007|"adolescence" 
"Into the Wild"|2007|"adoption" 

Этого файл имеет более чем уЮ линию.

У меня есть база данных, работающая на удаленном суперкомпьютере, который я подключаю с помощью туннеля ssh. Я создаю 2 индекса:

CREATE INDEX ON :MOVIE(title) 
CREATE INDEX ON :KEYWORD(word) 

Тогда я выполнить запрос:

USING PERIODIC COMMIT 
LOAD CSV WITH HEADERS FROM "file:c:/Users/.../Data/rels.csv" AS csv 
FIELDTERMINATOR '|' 
MERGE (m:MOVIE {title:csv.title }) 
ON CREATE SET m.year = toInt(csv.year) 
MERGE (k:KEYWORD {word:csv.word}) 

Через некоторое время, я не знаю, один час, информация о запросе выполнения исчезает или появляется неизвестная ошибка. Но когда я перехожу к localhost: 7474/webadmin в статистике, количество узлов увеличивается очень медленно - 5-8 узлов за 10 секунд.

Когда я выполнить запрос: (я могу, потому что нет хода запроса показан)

match (m) 
return count(m) 

есть около 79K узлов. Но счет увеличивается более 21 часа. И мне нужно создать около 1.2M узлов, а сделать примерно 4M отношений между ними. Когда я делаю базовые вычисления, создание узлов 1.2M будет продолжаться около 13 дней. И действительно не хочу знать, как долго будет длиться создание отношений 4M.

Что происходит? Как закрепить его? Что я могу сделать? Пожалуйста, помогите.

Примечание:

Я уже создал узлы видеосюжетов и ключевых слов в прошлом, и сделал это из отдельных CSV файлов, содержащих только видеосъемку или ключевые слова и сделал это без использования PERIODIC COMMIT, но выбраны вручную около 60K строк и казнены запрос на него. Но я удалил их все, чтобы сделать это в 2 запросах также с отношениями и без работы с делением файлов csv. Не могу представить, чтобы вручную делить файл 4M строк на 60K строк файлов.

Answer 1

Я немного изменил процедуру.

1. Загрузить все 160K Ключевые слова из ключевых слов CSV, содержащие только ключевые слова (несколько миллисекунд)

   USING PERIODIC COMMIT 1000 LOAD CSV WITH HEADERS FROM 'file:c:/.../kw.csv' as csv CREATE (:KEYWORD {word:csv.word})

2. Загрузить все фильмы 2M из фильма CSV, содержащих только названия фильмов и годы (несколько секунд)

   USING PERIODIC COMMIT 1000 LOAD CSV WITH HEADERS FROM 'file:c:/.../mov.csv' as csv CREATE (:MOVIE {title:csv.title, year: toInt(csv.year)})

3. Создание индексов на MOVIE и KEYWORD

   CREATE INDEX ON :MOVIE(title) CREATE INDEX ON :MOVIE(year) CREATE INDEX ON :KEYWORD(word)

4. Загрузка отношение из CSV, содержащие фильмы названия, лет и ключевых слов (это занимает несколько часов, но было довольно быстро, мог видеть прогресс в интерфейсе программы WebAdmin)

   USING PERIODIC COMMIT 1000 LOAD CSV WITH HEADERS FROM 'file:c:/.../rels.csv' as csv MATCH (m:MOVIE {title:csv.title, year: toInt(csv.year)}) MATCH (k:KEYWORD {word:csv.word}) MERGE (m)-[:HAS {weight:1}]->(k)

Надеюсь, это поможет кому-то в будущем.