Как определить количество тем в распределении LDA (скрытое распределение Дирихле) для текстовой кластеризации?

Question

Я использую алгоритм LDA для группировки многих документов на разные темы. Алгоритм LDA требует входной параметр: количество тем. Как я могу это определить?

Я использую корпуса Reuter для сравнения моего решения. И корпуса Reuter имеют номера тем. Должен ли я вводить тот же номер темы при кластеризации текста Reuter? И сравнение моего результата кластеризации с Reuter's?

Но когда я нахожусь в производстве, как я могу узнать количество тем, прежде чем я на самом деле кластер, основанный на этих темах. Это похоже на проблему с куриным яйцом.

Answer 1

Один из способов, с помощью которого вы можете приблизиться, - через k означает. Через Silhouette (или кривые локтя, но я предполагаю, что это потребует ручного вмешательства), вы можете получить оптимальное количество кластеров. Вы можете использовать это число как количество тем.