, хотя это второй раз, я отправляю тот же вопрос, the first one is here, но ответа нет или частичный ответ. Я боролся с этой проблемой и потерял в lucene api ...lucene 4.0 статистика
Что мне интересно, чтобы получить длину документа от Lucene. Когда я использую searcher.explain (используя bm25), я вижу, что эта функция существует, но мне нужно только ее получить.
Я был бы очень признателен за пример, поскольку я новичок в Lucene, просто точка API не поможет.
Один из наивных способов сделать это - сохранить эту длину в отдельном поле, используя string.length() из java, и при запросе времени его получить, однако, эта фальшивка уже существует (иначе bm25 не будет работать) Не хотите что-то хранить в избытке.
Я был бы очень признателен, если бы вы дали более подробное объяснение того, как достичь этого с помощью lucene 4.0, и если вы не можете предоставить и ответить, пожалуйста, не отвечайте только ради ответа (как тогда другие не читают мой пост, думая, что он решен !!!!), и не посылайте мне указатель на api (например, см. Similarity.computeNorm от Роберта Муира), потому что это не поможет мне. Мне нужно больше деталей, например, как использовать этот FieldInvertState или Similarity.computeNorm ??? Время запроса или время индекса ??? небольшой фрагмент кода будет полезным, вы должны учитывать, что я не эксперт здесь, в противном случае я бы не просил
заранее спасибо
Пожалуйста, не дублируйте вопросы только потому, что вам не нравится чтение документации. Я указал вам на соответствующую документацию о том, как работать с этими статистическими данными, чтобы вы могли двигаться дальше с вашим приложением. Факт: lucene не сохраняет длину документа (или любую другую статистику по каждому документу), если вы не делаете этого в своем сходстве самостоятельно. Я знаю это, потому что для Lucene 4.0 я написал API, о котором идет речь. –
вы не указали детали, теперь я знаю, что я должен делать это во время индекса (init, я думал во время запроса), но в API нет примера о том, как это сделать, в индексе я могу хранить только документы , а не объект подобия. Можете ли вы опубликовать фрагмент кода, как вставить эту метрику в индекс? –
Я дал вам ссылку на Similarity.computeNorm, и есть множество систем оценки, которые используют длину документа в Lucene (вы можете посмотреть на их код). Ваш вопрос не дает достаточной информации: какая длина документа (это количество исходных терминов или количество анализируемых терминов после добавления таких синонимов)? какой уровень точности вам нужен; нормы полностью загружаются в память, поэтому сколько байтов/документов вы готовы потратить в ОЗУ для этой статистики? вам нужно также поддерживать повышение индекса времени? Это важные решения, которые влияют на производительность и релевантность. –