Как оптимизировать индексирование solr с помощью mysql

Question

Я использую Mysql для индексирования данных в SOLR. Раньше данные были меньше, поэтому индексирование происходило быстро без какого-либо отставания. Теперь мои данные содержат почти 3 миллиона строк, и запрос mysql всегда истекает, и из-за этого SOLR не может индексировать данные соответствующим образом. Есть ли способ индексировать SOLR с помощью mysql или делать какие-либо настройки в SOLR? Пожалуйста помоги.

Answer 1

Если вы не используете incremental/delta indexing, вы должны начать делать это вместо этого. Таким образом будут снова индексированы только те строки, которые изменились с момента последнего запуска индекса, что позволяет уменьшить влияние и количество строк из MySQL.

Кроме того, JDBCDataSource (который, как я полагаю, вы используете) supports the batchSize parameter, который сообщает драйверу JDBC ограничить количество документов в каждом запросе и вместо этого выдает несколько запросов.

Вы также должны позаботиться о том, чтобы иметь полезные индексы для ваших данных, если вы выполняете какую-либо фильтрацию на содержимом SQL при его извлечении (например, для импорта дельта).