Импорт из нескольких текстовых файлов в Solr

Question

У меня есть два текстовых файла, назовите их A.txt и B.txt. Оба A.txt и B.txt имеют 3 поля. Но семантика отличается. Назовем эти поля следующим образом:

A.txt : f1, f2, f3 
B.txt : f1, f2, f4 

a.txt и b.txt имеют одинаковые значения для f1 и f2, но имеют различное третье поле.

Я хотел бы импортировать эти файлы в Solr (я использую Solr 4.5). Но оговорка в том, что соответствующие записи из A.txt и B.txt должны объединяться в один документ. Так, например, если мы имеем:

A.txt 
1,50,foo 
51,100,bar 

B.txt 
1,50,xkcd 
51,100,qc 

После dataimport произошло, там должно быть 2 документов в Solr:

1,50,foo,xkcd 
51,100,bar,qc 

Если документы хранятся в базах данных SQL, это было бы просто присоединиться запрос. Но так как документы хранятся в виде строк в CSV-файле, и я использую LineEntityProcessor с функцией трансформатора для выполнения dataimport, есть ли способ выполнить эту задачу?

Answer 1

Я хотел бы импортировать эти файлы в Solr (я использую Solr 4.5). Но оговорка состоит в том, что соответствующие записи из A.txt и B.txt должны быть объединены в один документ ... После того, как произошел инцидент, в Solr должно быть 2 документа

Это не сработает вы намерены. По умолчанию Solr обрабатывает обновление документа как функциональный эквивалент транзакционного удаления и вставки.

С возможностями Solr 4, atomic update разрешено обновлять некоторые поля, не влияя на остальные данные поля документа. Существуют ограничения в том, как они работают, поскольку для этого требуются метаданные об обновлении и требуются форматы XML или JSON. Структуры текстового файла, которые вы идентифицировали, не будут работать с этим.

Мое предложение: сохраните головную боль и напишите сценарий слияния файлов, который объединяет ваши текстовые файлы для создания записи, которую вы хотите, прежде чем хранить ее в Solr.