2015-11-13 3 views
7

По мнению авторов в 1, 2 и 3, Напомним процент соответствующих элементов, выбранных из всех соответствующих элементов в хранилище, в то время как Precision - это процент релевантных элементов из тех элементов, которые выбраны по запросу.Напомним, Напомним, скорость @ K и точность в топ-K рекомендации

Поэтому, предполагая, что пользователь U получает TOP-к Рекомендуемый перечень предметов, они будут что-то вроде:

Напомним = (Relevant_Items_Recommended в топ- к) / (Relevant_Items)

Точность = (Relevant_Items_Recommended в TOP-к) не / (к _Items_Recommended)

До той части все понятно, но я не понимаю разницу между ними и Напомним скорость @ к. Как будет формула для вычисления скорость отзыва @ k?

+1

Вы прямо ставите @K в вычисление простой точности и отзыва для предсказания рейтинга, что может сбить с толку. Правило простое - если вы пытаетесь измерить только прогноз RATING - используйте простой Precision и Recall в целом рекомендованный результат. Если вы заинтересованы в измерении прогноза РЕЙТИНГ, тогда вас больше интересует, насколько хорошо можно сказать, что топ-5 выполняет (экран первой карусельной рекомендации), затем топ-10 (второй экран) и так далее. Потому что во втором случае вас больше интересует, насколько хорошо ваше решение заказало весь ответ - ранжированные результаты. –

+0

Большое спасибо @ Bartłomiej Twardowski. Итак, просто я уже делал эту ставку @ k? –

+0

Да, если вы усекаете верхний элемент k и вычисляете только p/r. –

ответ

6

И наконец, я получил объяснение от профессора Юрия Малхейроса (paper 1). Частота повторения Althougth @k как цитируется в цитированных в статьях работах, казалось, была нормальной метрикой отзыва, но применялась в верхнем k, они не совпадают. Этот показатель также используется в paper 2, paper 3 и paper 3

Скорость отзыва @K является процент, который зависит от испытаний, проведенных, например, число рекомендаций и каждая рекомендация представляет собой список элементов, некоторые пункты будут быть правильным, а некоторые нет. Если бы мы сделали 50 различных рекомендаций, назовем это R (независимо от количества элементов для каждой рекомендации), чтобы рассчитать частоту отзыва необходимо посмотреть на каждую из 50 рекомендаций. Если для каждой рекомендации по крайней мере один рекомендованный элемент верен, вы можете увеличить значение, в этом случае назовем его N. Чтобы рассчитать скорость повторного вызова @R, необходимо сделать N/R.

+0

Я думаю, что вы допустили ошибку, вы снова описали точность @ k. Recall @ k означает, что вы подсчитаете соответствующие документы среди верхнего-k и разделите их на общее количество соответствующих документов в репозитории. См. Https://ils.unc.edu/courses/2013_spring/inls509_001/lectures/10-EvaluationMetrics.PDF – Chris

Смежные вопросы