Рекомендации по постоянно меняющимся документам

Question

Мы пытаемся разработать рекомендательную систему документов, в которых постоянно обновляются документы. На самом деле документами являются потоки, к которым обычно добавляется текст.

Первоначально мы планировали использовать lucene + solr. Но это хорошо для большинства статических документов. Путь lucene обновляет документ, удаляя его сначала, а затем переиндексируя его. Таким образом, если документ обновляется часто выше подхода, это приводит к более медленной индексации, поскольку размер корпуса и средний размер документа увеличивается.

Мы также испытывали соблазн построить собственное решение, но отказались от прототипирования, поскольку мы дрейфовали, чтобы повторно изобретать функции поиска информации, которые были уже хорошо реализованы в lucene. Имеет ли кто-либо опыт построения такого рода системы, интегрируя инструменты поиска с открытым исходным кодом и средства машинного обучения.

Answer 1

Чтобы обновить значение любого поля в документе без повторной индексации всего документа, вы можете использовать DocValues. Вы можете прочитать о DocValues ​​в следующем блоге http://shaierera.blogspot.com/2014/04/updatable-docvalues-under-hood.html