Можем ли мы проиндексировать файлы WARC напрямую в Solr?

Question

Можем ли мы индексировать ВАКР файлы непосредственно в Solr без извлечения и хранения некоторые промежуточные файлы (напр. HTML формат) из ВАКР файлы сначала на жестком диске?

Другими словами, можем ли мы индексировать эти файлы, не сохраняя ничего на жестких дисках?

Answer 1

Вы должны сделать это на клиенте, так как неясно, какую схему вы хотите использовать для этих файлов. Затем вы можете просто расширить содержимое в памяти потоковым способом, обработать его с помощью Tika на стороне клиента, если потребуется, и отправить любое представление документа, которое вы хотите Solr.