Как оценить поисковый/поисковый движок с помощью trec_eval?

Question

Есть ли какие-либо тела, которые использовали TREC_EVAL? Мне нужен «Trec_EVAL для чайников».

Я пытаюсь оценить несколько поисковых систем, чтобы сравнить параметры, такие как Recall-Precision, ранжирование и т. Д. Для моей работы над диссертацией. Я не могу найти, как использовать TREC_EVAL для отправки запросов в поисковую систему и получения файла результата, который можно использовать с TREC_EVAL.

Answer 1

В принципе, для trec_eval вам нужна (сгенерированная человеком) наземная правда. Это должно быть в специальном формате:

query-number 0 document-id relevance 

Учитывая коллекцию как 101Categories (wikipedia entry), что было бы что-то вроде

Q1046 0 PNGImages/dolphin/image_0041.png 0 
Q1046 0 PNGImages/airplanes/image_0671.png 128 
Q1046 0 PNGImages/crab/image_0048.png 0 

Запрос номер идентифицирует поэтому запрос (например, изображения из определенную категорию, чтобы найти аналогичные). Результаты вашей поисковой системы потом трансформироваться выглядеть

query-number Q0 document-id rank score Exp 

или в действительности

Q1046 0 PNGImages/airplanes/image_0671.png 1 1 srfiletop10 
Q1046 0 PNGImages/airplanes/image_0489.png 2 0.974935 srfiletop10 
Q1046 0 PNGImages/airplanes/image_0686.png 3 0.974023 srfiletop10 

, как описано here. Возможно, вам придется настроить имена путей для «document-id». Затем вы можете рассчитать стандартные показатели . trec_eval --help должен дать вам несколько идей по выбору правильных параметров для использования измерений, необходимых для вашего тезиса.

trec_eval не отправляет каких-либо запросов, вы должны подготовить их самостоятельно. trec_eval делает только анализ с учетом земной силы и ваших результатов.

Некоторая базовая информация может быть найдена here и here.