Добавление огромного количества файлов в Solr

Question

Iam пытается индексировать документы в solrj. iam, используя Solr4.5, и у меня есть огромные файлы для индексирования. каковы способы индексирования каждого файла, чтобы избежать узких мест в производительности.

Answer 1

Первое, что нужно проверить, является журнал на стороне сервера и искать сообщения о фиксаций. Возможно, вы выполняете жесткую фиксацию после разбора каждого файла. Это дорого. Вы можете изучить мягкие коммиты или commitWithin params, чтобы файлы отображались чуть позже.

Во-вторых, вы, кажется, отправляете запрос на Solr для извлечения вашего файла и запускаете его на Tika. Таким образом, это, вероятно, перезапускает Tika внутри Solr каждый раз. Вы не сможете делать это, как могут показаться другие ответы.

Но вы можете запустить Tika локально в своем клиенте и инициализировать его один раз и сохранить его. Тогда это дает больше гибкости в том, как создать свой SolrInputDocument, который вы затем можете выполнить.

Answer 2

Обновление для каждого документа происходит медленно с помощью solr.

Вы намного лучше добавили все документы, а затем совершили фиксацию с обновлением. Взятые из Solr вики:

Collection<SolrInputDocument> docs = new ArrayList<SolrInputDocument>(); 
docs.add(doc1); 
docs.add(doc2); 

UpdateRequest req = new UpdateRequest(); 
req.setAction(UpdateRequest.ACTION.COMMIT, false, false); 
req.add(docs); 
UpdateResponse rsp = req.process(server);