как кодировать последовательность символов в числовую форму без потери информации?

Question

Я хочу использовать нейронную сеть для классификации строк. «проблема» заключается в том, что нейронные сети принимают числовой ввод, поэтому мне нужен метод кодирования строки в числовой вектор. существует ли стандартный способ решения этой проблемы?

Я думал о подсчете n-граммов, но этот подход привел бы к огромным векторам объектов, если я не хочу потерять какую-либо информацию, поскольку мне нужно было бы вычислить все от 1 грамма до длины, струнно-граммы. правильно?

Итак, существует ли более компактный метод кодирования строк для числовых данных? который поддерживает информацию о частоте символов и их порядке?

Answer 1

Возможно, это то, что вы ищете? https://code.google.com/p/word2vec/

Вы могли векторизации слова (и, вероятно, символы) с word2vec, затем добавить векторы (или вычитать их, когда сталкивается с отрицанием), а затем разделить результат на число слов добавлен в «построить строку», чтобы сделать своего рода векторное среднее для масштабирования. Я еще не тестировал этот инструмент.

Вы также задали вопрос о частоте и порядке слов в ваших строках. Я думаю, что этот порядок может быть уничтожен этой техникой, но не их счет.