Как масштабировать индексирование SOLR без использования DIH?

У меня около 20 миллионов документы в моем SOLR. Я использую DIH для индексирования delta updates в SOLR. Она занимает около 2-3 часов к индексу дельты импорта за последний час и для полного импорта Она занимает около 5-6 часа к complete.Is есть ли способ ускорить этот процесс, кроме DIH? ?Как масштабировать индексирование SOLR без использования DIH?

источник

2015-05-18 Lijo Abraham

ли индексация, которая принимает время - или извлечения содержимого из базы данных? Плохие или отсутствующие индексы могут замедлять работу большого объема импорта, если бэкэнд должен сканировать всю таблицу несколько раз. Сколько новых документов в дельта-импорте? – MatsLindh

Новые документы будут выглядеть ниже 500. Но обновления существующих документов будут большими. И я импортирую данные из примерно 14-15 таблиц, используя также соединения. –

Вы можете думать о

распределения индекса по нескольким серверам
тиражирование индекс на нескольких серверах

Распределить индекс: Разделите индекс в части (осколки), каждый из он работает на отдельной машине. Solr затем разбивает поиск на подпрограммы, которые выполняются на отдельных осколках, сообщая результаты в совокупности. таким образом, вы получите более высокую производительность при запросах на очень большие индексы.

Вот хорошее чтение для масштабирования на Solr

http://www.hathitrust.org/blogs/large-scale-search/scaling-large-scale-search-from-500000-volumes-5-million-volumes-and-beyond

источник

2015-05-18 05:35:39

Как масштабировать индексирование SOLR без использования DIH?

ответ

Смежные вопросы