Solr: непрерывная миграция из MySQL

Question

Это может звучать как вопрос мнения, но на самом деле это технический вопрос: существует ли стандартный процесс для поддержания простого набора данных?

Что я имею в виду: скажем, все, что у меня есть, - это список чего-то (мы скажем книги). Первичный механизм хранения - MySQL. Я вижу, что Solr имеет обработчик импорта данных. Я понимаю, что я могу использовать это для записи книг в первый раз - возможно ли использовать это для непрерывной миграции? Если да, то будет ли это работать и для обновления книг, которые уже были втянуты в Solr, как это было бы для поиска новых книжных записей?

В противном случае, если обработчик импорта данных не является стандартным способом его выполнения, какие другие способы существуют? Мысли?

Большое спасибо за помощь!

Answer 1

Если вы хотите обновить документы из Solr, я считаю, что вам нужно будет использовать UpdateRequestHandler, а не DataImportHandler. Мне никогда не приходилось делать это, когда я работаю, поэтому я не знаю об этом много. Вы можете найти эту ссылку: Uploading Data With Index Handlers.

Если вы хотите обновить Solr с записями, которые недавно были добавлены в базу данных MySQL, вы должны использовать DataImportHandler для delta-import. В основном, как это работает, у вас есть какая-то область в MySQL, которая показывает новую запись, ну, новую. Если запись новая, Solr импортирует ее. Например, когда я работаю, у нас есть «обновленное» поле, которое Solr использует для определения того, следует ли импортировать эту запись. Вот хорошая ссылка для посещения: DataImportHandler

Answer 2

Вопрос похож на тот, который мы делаем, но не с SQL. Его с HBase (DB DB). Однако у нас есть индексатор Hbase, который после сопоставления DB с Solr прослушивает события в hbase (DB) для новых строк, а затем выполняет код для извлечения этих значений из БД и добавления в Solr. Не уверен, есть ли для SQL. Однако концепция выглядит схожей. IN SQL Я знаю о триггерах, которые могут прослушивать вставки и обновления. При этом даже вы можете запускать что-то, чтобы выполнить шаги по их добавлению в непрерывном порядке.