Изучение ранжирования с использованием Lenskit

Question

Я использую рамки lenskit для изучения проблемы ранжирования. У меня есть проблема, о которой я никогда не видел никому.
Когда я сравниваю производительность FunkSVD и базового уровня популярности по всему юниверсу предметов, базовый уровень популярности значительно превосходит FunkSVD. Я думаю, что это связано с тем, что популярные предметы оцениваются чаще, в то время как это не означает, что пользователям нравятся популярные предметы.
Ограниченное количество элементов для оценки N популярных. В результате производительность FunkSVD увеличилась, поскольку алгоритм имеет меньше возможностей совершить ошибку. FunkSVD превзошел популярность. Однако теперь у меня другая проблема. Случайный исходный сигнал превосходит как FunkSVD, так и популярность! Наверное, это потому, что шанс совершить ошибку очень низок, но я создан. Есть ли способ сделать FunkSVD лучше, чем популярность и случайность? Я делаю что-то неправильно? Является ли проблема в рамках? Кто-нибудь столкнулся с этой проблемой?

Answer 1

Как вы измеряете производительность? Это ключевая вещь, которая существенно изменит ситуацию.

Кроме того, FunkSVD имеет ряд параметров, которые необходимо настроить, чтобы иметь хорошую производительность. Значения по умолчанию могут быть не очень хорошими для вашего набора данных.

Диагностика того, что происходит с конкретным экспериментом, похоже на то, что лучше обрабатывать в дискуссионных форумах LensKit (список рассылки или помещение Gitter).