Ускорение сравнения текста (с разреженными матрицами)

Question

У меня есть функция, которая берет две строки и выдает значение подобия косинуса, которое показывает взаимосвязь между обоими текстами.

Если я хочу сравнить 75 текстов друг с другом, мне нужно сделать 5 625 одиночных сравнений, чтобы иметь все тексты по сравнению друг с другом.

Есть ли способ уменьшить это количество сравнений? Например, разреженные матрицы или k-средства?

Я не хочу говорить о своей функции или о способах сравнения текстов. Просто уменьшите количество сравнений.

Answer 1

Что Бен говорит, что это правда, чтобы лучше помочь вам рассказать нам, в чем цель.

Например, одна возможная оптимизация если вы хотите, чтобы найти похожие строки хранят строковые векторы в пространственной структуре данных, такие как квадрадерево, где вы можете прямо отбрасывать векторы, которые слишком далеко друг от друга, избегая многих сравнений.

Answer 2

Если ваш алгоритм является парным, то вы, вероятно, не сможете уменьшить количество сравнений по определению.

Вам нужно будет использовать другой алгоритм или, по крайней мере, предварительно обработать ваш ввод, если вы хотите уменьшить количество сравнений.

Без подробной информации о вашей функции трудно дать какую-либо конкретную помощь.