В java - группировка аналогичных значений

Question

Прежде всего, спасибо за чтение моего вопроса.

Я использовал TF/IDF, тогда по этим значениям я вычислил подобие косинуса, чтобы увидеть, сколько документов больше похоже. Вы можете увидеть следующую матрицу. Имена столбцов похожи на doc1, doc2, doc3, а имена строк такие же, как doc1, doc2, doc3 и т. Д. С помощью следующей матрицы я вижу, что doc1 и doc4 имеют сходство 72% (0.722711142). Это правильно, даже если я вижу оба документа, они похожи. У меня 1000 документов, и я вижу каждую частоту документа. в матрице, чтобы увидеть, как многие из них похожи. Я использовал различные кластеризации, такие как k-mean и agnes (иерархия), чтобы объединить их. Он создал кластеры. Например, Cluster1 имеет (doc4, doc5, doc3), потому что они имеют значения (0.722711142, 0.602301766, 0.69912109) более близко соответственно. Но когда я вижу вручную, если эти 3 документа действительно одинаковы, они НЕ. :(Что я делаю или я должен использовать что-то другое, кроме кластеризация ??????

1    0.067305859 -0.027552299 0.602301766 0.722711142  
    0.067305859 1    0.048492904 0.029151952 -0.034714695 
    -0.027552299 0.748492904 1    0.610617214 0.010912109  
    0.602301766 0.029151952 -0.061617214 1    0.034410392  
    0.722711142 -0.034714695 0.69912109 0.034410392 1    

PS: Значения могут быть неправильно, это просто чтобы дать вам представление Если у вас есть. вопрос, пожалуйста, спросите Спасибо

Answer 1

Я не знаком с TF/IDF, но этот процесс может пойти не так, во многих этапах, как правило:.?

1, вы удалите

стоп-слова

2, ли вы применяете стеблирование?

3, Вы нормализуете частоты для длины документа? (Возможно, у TFIDF есть решение для этого, я не знаю)

4, Clustering - метод обнаружения, но не священный Грааль. Документы, которые он получает в виде группы, могут быть связаны более или менее, но это зависит от данных, настройки, алгоритма кластеризации и т. Д.

Чего вы хотите достичь? Какая у вас настройка? Удачи!

Answer 2

Мой подход заключается в том, чтобы не использовать предварительно рассчитанные значения сходства вообще, потому что сходство между документами должно быть найдено с помощью самого алгоритма кластеризации. Я бы просто установил пространственное пространство с одним столбцом на каждый член в корпусе, так что количество столбцов равно размеру словаря (если вы хотите) минус стоп-слово. Каждое значение функции содержит относительную частоту соответствующего термина в этом документе. Я думаю, вы могли бы использовать значения tf * idf, хотя я бы не ожидал, что это поможет слишком много. В зависимости от используемого алгоритма кластеризации распознающая способность определенного термина должна быть найдена автоматически, т. Е. Если термин появляется во всех документах с одинаковой относительной частотой, то этот термин не очень хорошо различает классы, и алгоритм должен обнаруживать, что ,