NLP: Способ эффективного сравнения и идентификации трендов между текстом

Question

Существуют ли алгоритмы или методы, в которых можно было бы оценивать общие тенденции/темы между текстовыми элементами?

Для примера скажем, что есть четыре точки данных (текстовые записи):

• «я нашел школу очень напряженной сегодня»
• «Тест по физике было довольно легко.»
• «Мой физический тест вообще не был сложным»
• «Все ушли рано, потому что физический тест был прямолинейным, и мы закончили его рано».

Основываясь на этих четырех записях, первый является выбросом и не имеет отношения к остальным, но другие три упоминают, как «физический тест» был легким (в общем, другие три выражают положительное настроение вокруг «физический тест»).

Существуют ли методы для извлечения общей темы между связанными предложениями? Эти предложения полностью открыты и не ограничиваются просто выражением настроений относительно объекта - они могут говорить о чем угодно.

Я понимаю, что это довольно широкий вопрос, но я подумал, что попрошу его так посмотреть, знают ли люди о существующих решениях или способах решения этой проблемы в прошлом.

Answer 1

Одним из возможных решений может быть генерация предложения предложения (Sent2Vec), а затем сравнение этих представлений.

Существует множество подходов к созданию предложения предложения английского предложения. Один из популярных подходов - skip-though vectors. Просто преобразуйте предложение в вектор, а затем используйте косинус-сходство для сравнения предложений.

Вы также можете использовать эти вложения предложений для обучения нейронной сети для выполнения своей целевой задачи.