проблема сходства java-косинуса

Question

Я разработал некоторую java-программу для вычисления подобия косинуса на основе TF * IDF. Он работал очень хорошо. Но есть одна проблема .... :(

, например: Если я следующие две матрицы, и я хочу, чтобы вычислить косинуса сходство это не работает, как строки не одинаковы в длину

doc 1 
1 2 3 
4 5 6 

doc 2 
1 2 3 4 5 6 
7 8 5 2 4 9 

если строки и colums одинаковы по длине, то моя программа работает очень хорошо, но это не делает, если строки и столбцы не в одинаковой длины.

Любые советы ???

Answer 1

Я не уверен в своей реализации, но cosine distance двух векторов равно нормированному точечному произведению этих векторов.

Точечный продукт двух матриц может быть выражен как a. b = a ^T b. В результате, если матрица имеет разную длину, вы не можете взять точечный продукт для идентификации косинуса.

Теперь в стандартном подходе TF * IDF термины в вашей матрице должны быть проиндексированы term, document, в результате любые термины, не появляющиеся в документе, должны отображаться как нули в вашей матрице.

Теперь, как вы его создали, кажется, что есть два разных матрицы для ваших двух документов. Я не уверен, что это ваше намерение, но оно кажется неправильным.

С другой стороны, если одна из ваших матриц должна быть вашим запросом, то она должна быть вектором, а не матрицей, так что транспонирование дает правильный результат.

Полное объяснение TF * IDF следующим образом:

Хорошо, в классическом TF * IDF вы построить матрицу терм-документ a. Каждое значение в матрице a характеризуется как _{i, j}, где i является термином и j является документом. Это значение представляет собой комбинацию локальных, глобальных и нормализованных весов (хотя, если вы нормализуете свои документы, нормализованный вес должен быть 1). Таким образом, _{I, J} = F _{I, J} * D/D _я, где F _{I, J} частота слова i в док j, D является размер документа, и г _я это количество документов с термином i.

Ваш запрос - это вектор терминов, обозначенных как b. Для каждого термина b _{i, q} в вашем запросе относится к термину i для запроса q. б _{I, Q} = F _{I, Q}, где F _{I, Q} частота термина i в запросе q. В этом случае каждый запрос представляет собой вектор, а несколько запросов образуют матрицу.

Затем мы можем рассчитать единичные векторы каждого из них, так что, когда мы возьмем точечный продукт, он произведет правильный косинус. Для достижения единичного вектора мы разделим как матрицу a, так и запрос b на их Frobenius norm.

Наконец, мы можем выполнить косинус-расстояние, взяв транспонирование вектора b для данного запроса. Таким образом, один запрос (или вектор) вычисляется. Это обозначается как b ^T a. Конечным результатом является вектор с оценкой для каждого члена, где более высокий балл обозначает более высокий ранг документа.

Answer 2

простой Java косинус сходство

static double cosine_similarity(Map<String, Double> v1, Map<String, Double> v2) { 
      Set<String> both = Sets.newHashSet(v1.keySet()); 
      both.removeAll(v2.keySet()); 
      double sclar = 0, norm1 = 0, norm2 = 0; 
      for (String k : both) sclar += v1.get(k) * v2.get(k); 
      for (String k : v1.keySet()) norm1 += v1.get(k) * v1.get(k); 
      for (String k : v2.keySet()) norm2 += v2.get(k) * v2.get(k); 
      return sclar/Math.sqrt(norm1 * norm2); 
    }