Метод оценки рейтинга в двухэтапном поиске документов

Question

Я создал двухэтапную систему ранжирования, основанную на текстовом сходстве (схожести косинуса) между парой документов запроса. Теперь мне нужно проверить свою систему ранжирования на то, правильно ли выбраны правильно выбранные элементы или нет в отношении пользователя, какой подход я должен выбрать. Я прочитал о методе Pointwise/Pairwise/Listwise для проверки ранжирования, но для ручной оценки системы ранжирования, что было бы более полезно. Если кто-то может просветить лучшую стратегию оценки ранжирования, это было бы очень полезно для меня. Спасибо

Answer 1

Если я правильно задаю вопрос, вы ищете методологию оценки, чтобы выяснить, работает ли ваша двухэтапная поисковая система или нет. Если это так, вы можете использовать один из следующих методов оценки:

• Актуальности суждений: Вы можете использовать TREC-подобные коллекции с несколькими сот запросов и явным суждением актуальности и использовать показатели оценки ИК (например, MAP, P @ 10, NDCG и т. Д.) Для оценки вашей модели.
• Тестирование A/B. Фактически вы можете показать исходный результат и результаты ранжирования на втором этапе вашей поисковой системы и попросить пользователей судить о том, лучше или нет.
• Данные кликов: если у вас есть доступ к журналам поисковых систем, вы можете использовать информацию о клиенте пользователей для оценки вашей модели. Для этого вам следует знать о нескольких проблемах смещения, например, проблема смещения положения.

Среди вышеупомянутых стратегий первое должно быть проще и дешевле. Вам просто нужно иметь доступ к данным TREC, которые не являются частными (но вам нужно заплатить несколько сотен долларов, чтобы получить доступ к большинству из них).