Как вычислить сходство косинуса с tf-idf с использованием Lucene и Java

Question

У меня есть запрос и набор документов. Мне нужно ранжировать эти документы на основе сходства косинусов с tf-idf. Может кто-нибудь, пожалуйста, скажите мне, какую поддержку я могу получить от Lucene, чтобы вычислить это? Какие параметры я могу непосредственно вычислить из Lucene (могу ли я получить tf, idf непосредственно через некоторый метод в lucene?) И как вычислить сходство косинусов с Lucene (есть ли какая-либо функция, которая напрямую возвращает косинус-подобие, если я передаю два вектора запроса и документ?)

Thanx заранее

Answer 1

Lucene уже использует развалюху версию косинус сходства, так что если вам нужна самая сырую CS, вероятно, это выполнимо. Я рекомендую official page, который обсуждает подсчет Луцены.

Если вы хотите, чтобы извлечь эту информацию по своему усмотрению, это будет планом шагов для ТФА:

1. индексного корпус;
2. открыть a IndexReader;
3. перебирать все идентификаторы док, от 0 до maxDoc();
4. getTermFreqVector(doc, fieldName);
5. итерация над параллельными массивами tfv.getTerms() и tfv.getTermFrequencies().

Что касается docFreq, используйте IndexReader.terms() и перебрать этот вызов termEnum.docFreq().