Вычислить сходство косинусов всех возможных пар символов, полученных из 4 таблиц mysql

Question

У меня есть 4 таблицы со схемой (app, text_id, title, text). Теперь я хотел бы вычислить схожесть косинусов между всеми возможными текстовыми парами (заголовок текст конкатенированный) и сохранить их в конечном итоге в файле csv с полями (app1, app2, text_id1, text1, text_id2, text2, cosine_similarity).

Поскольку существует много возможных комбинаций, он должен работать достаточно эффективно. Какой из них наиболее распространен? Я был бы признателен за любые указания.

Редактировать: Хотя приведенная ссылка может затронуть мою проблему, я все еще не могу понять, как подойти к этому. Может ли кто-нибудь предоставить более подробную информацию о стратегии для выполнения этой задачи? Рядом с вычисленным сходством косинуса мне нужны также соответствующие пары текста в качестве вывода.

Answer 1

Ниже приведен минимальный пример для вычисления сходства парного косинуса между набором документов (при условии, что вы успешно получили заголовок и текст из своей базы данных).

from sklearn.feature_extraction.text import TfidfVectorizer 
from sklearn.metrics.pairwise import cosine_similarity 

# Assume thats the data we have (4 short documents) 
data = [ 
    'I like beer and pizza', 
    'I love pizza and pasta', 
    'I prefer wine over beer', 
    'Thou shalt not pass' 
] 

# Vectorise the data 
vec = TfidfVectorizer() 
X = vec.fit_transform(data) # `X` will now be a TF-IDF representation of the data, the first row of `X` corresponds to the first sentence in `data` 

# Calculate the pairwise cosine similarities (depending on the amount of data that you are going to have this could take a while) 
S = cosine_similarity(X) 

''' 
S looks as follows: 
array([[ 1.  , 0.4078538 , 0.19297924, 0.  ], 
     [ 0.4078538 , 1.  , 0.  , 0.  ], 
     [ 0.19297924, 0.  , 1.  , 0.  ], 
     [ 0.  , 0.  , 0.  , 1.  ]]) 

The first row of `S` contains the cosine similarities to every other element in `X`. 
For example the cosine similarity of the first sentence to the third sentence is ~0.193. 
Obviously the similarity of every sentence/document to itself is 1 (hence the diagonal of the sim matrix will be all ones). 
Given that all indices are consistent it is straightforward to extract the corresponding sentences to the similarities. 
'''