Flume - Solr Интеграция

Question

Это мой сценарий.

Входные данные JSON поступают в Flume, и его необходимо индексировать и хранить в Solr в режиме реального времени. Я использую последнюю версию CDH.

Я не нашел документацию в полном объеме. Он отключен в местах.

Не могли бы вы указать мне в правильном направлении здесь?

• Должен ли я использовать раковину Morphilines и сказать, что вы не делаете никаких преобразований? Или, если я не хочу никаких преобразований в json, могу ли я использовать какую-то другую раковину только для прямой записи в Solr?
• Указатели на документацию с четкими шагами
• Или, пожалуйста, перечислите, что вы сделали бы в пошаговой форме (конечно, очень высокого уровня).

Answer 1

Вот несколько советов:

1) Если ваш источник RabbitMQ, JMSSource является правильным компонентом.

2) Если вы не создали собственный источник SOLR, я бы рекомендовал использовать MorphlineSOLRSink без преобразования. Отлично работает. Если вам нужно преобразовать или изменить что-либо, вы можете либо реализовать собственный пользовательский обработчик, либо использовать перехватчик. Имейте в виду, что количество записей SOLR должно соответствовать количеству событий, которые получает ваш источник.