Как найти дельту между двумя коллекциями SOLR

Question

Мы используем Lucid works Solr версии 4.6.

Наша исходная система в основном хранит данные в двух системах назначения (один - в реальном времени, а другой - в пакетном режиме). Данные поступают в Solr через маршрут реального времени.

Нам необходимо периодически синхронизировать данные, поступающие в Solr, с данными, поступающими в пакетную систему.

Дизайн, который мы в настоящее время пытаемся оценить, заключается в том, чтобы импортировать данные из пакетной системы в другую коллекцию Solr, но на самом деле не уверен, как синхронизировать обе коллекции (то есть с данными в реальном времени, а во втором - с помощью пакетного импорта).

Я прочитал обработчики импорта данных, но это переопределит существующие данные в Solr. Есть ли способ, которым мы можем идентифицировать дельта между двумя коллекциями и только глотать.

Answer 1

Нет никакого хорошего пути; есть несколько вещей, которые вы можете сделать:

1. Когда данные поступают в систему реального времени, есть временная метка импорта. Затем выполните запрос диапазона, чтобы вытащить новый материал. Я думаю, что у новых версий Solr уже есть поле для этого.
2. Идентификаторы документов, поступающие в первый Solr, а затем индексируют их.
3. Отдельные очереди для другой коллекции