Solr скорость индексирования с драйверами тузд

Question

так, с помощью Solr 4,0

У меня есть довольно прямо вверх установку объекта, с 1 суб лица (1: N отношение)

данные для импорта сидит сервер MySQL

основная таблица имеет около 30 миллионов записей таблица суб имеет около 5 миллионов записей (большинство родительских лиц не имеют вспомогательный объект, остальные, как правило, один 1)

Я попадание в довольно ужасное индексирование (импорт). около 80 объектов (документов) в секунду. поэтому, чтобы индексировать эту таблицу, теоретически это займет несколько дней.

Теперь из того, что я вижу, что отчеты solr, например, если я скажу, чтобы индексировать первые 1000 сущностей, на самом деле он выдает 1000+ запросов к sql. Я также попытался установить свойство batchSize для источника данных без удачи ... только -1 работает (в противном случае исключение из памяти).

действительно не уверен, что я могу сделать, чтобы оптимизировать это, нет ли импортера данных PROPER для mysql?

Answer 1

вы могли бы использовать CachedSqlEntityProcessor так, что объект запроса к югу, по крайней мере в кэше ...

Answer 2

Мысль cachedEntity подход помог мне в другом вопросе, я обнаружил, что использование вложенных объектов, как правило, не просто пошел, чтобы пойти ,

Логика для запуска запроса сущности для каждого корневого объекта просто никогда не будет работать.

Я переписал свои заявления SQL JOIN, которые извлекают как корневые, так и сущные сущности в виде одной строки и сопоставляются с полями соответственно, а производительность значительно улучшается.