Sentiment Analysis - должен ли я нормализовать положительные и отрицательные списки слов, когда они различаются по длине?

Question

Я реализую простой алгоритм анализа чувств, в котором авторы статьи имеют список слов для положительных и отрицательных слов и просто подсчитывают количество вхождений каждого в анализируемом документе и дают ему оценку голосов в документе:

настроение = (#positive_matches - #negative_matches)/(document_word_count)

Это нормализуется счет настроений по длине документа, НО свод негативных слов в 6 раз больше, чем положительное слово корпус (около 300 положительных слов и 1800 отрицательных слов), поэтому по вышеуказанной мере оценка сентимента, скорее всего, будет негативно предвзятой, так как есть более отрицательные слова, чтобы соответствовать положительным словам.

Как я могу исправить дисбаланс в длине положительного и отрицательного корпусов?

Должен ли я скорректировать оценку настроения, чтобы нормализовать каждый положительный/отрицательный счет на соответствующих длинах корпусная, что:

настроения * = ((# positive_matches/# words_in_positive_corpus) - (# negative_matches/# words_in_negative_corpus))/(document_word_count)

Любые мысли/проверка исправности/совет высоко ценится :)

Answer 1

формула вы представили там в основном плохая идея, потому что если у вас есть предложение, как:

«Сегодня есть хорошие и плохие новости о компании»

Вы ожидаете иметь нейтральное настроение для этого предложения. Когда вы используете формулу, предложение получает положительное чувство только потому, что один лексикон больше/меньше, чем другой.

Идея состоит в том, чтобы взвесить слова в лексиконе (если вы можете ее изменить), чтобы у вас было, например, 100 очень сильных чувственных слов с большим весом, а затем вес уменьшается, если слово не так важно для расчета настроений. Теперь разница в размерах лексики больше не имеет значения.

Answer 2

Я сомневаюсь, что вы можете получить хорошие результаты с помощью любой лексиконной модели, когда сам корпус будет предвзятым. Вы можете применить некоторую нормализацию, чтобы свести к минимуму предвзятость, но все же это не даст вам хороших результатов.

Ваши простые модели на основе Lexicon не учитывают фразы (n-граммы), контекст, отрицание и т. Д. Классифицированные модели, такие как Naive Bays, Max Entropy или Vector Vector Machine, могут дать вам лучшие результаты.

Вы также можете попробовать гибридный подход как с Lexicon, так и с вероятностной моделью, такой как Naive Bayes, и сравнить результаты, но для любого подхода потребуется либо хорошая лексика, либо подготовленные данные.

Answer 3

Если у вас есть контроль над положительными и отрицательными лексиконами, то я бы предложил использовать список this. Я использовал его в прошлом и нашел его довольно обширным, а также сбалансированным. Кроме того, он дает значение полярности для каждой лексики. Вы можете использовать его, если хотите.

Answer 4

Как уже говорилось, словарь-подход не перспективен для анализа настроений. Особенно, если ваш словарь явно не создан для этой задачи, а не даже для домена.

Если вы хотите использовать такой метод по какой-либо причине, попробуйте найти другие словари или методы для их получения, начиная с here.

Если вы хотите исправить словарь, попробуйте его расширить (как положительные, так и отрицательные) с помощью синонимов из WordNet или других сервисов, см. Предложения here.

Тем не менее, на самом деле вы более интересны, поскольку объективное распределение событий типа «сообщение содержит положительное слово» и «сообщение содержит отрицательное слово», но не равное количество положительных и отрицательных слов. Я имею в виду, что эти 300 положительных слов могут встречаться в текстах (из вашего домена, что важно) не реже, чем эти 1800 отрицательных. Кроме того, вы не знаете истинного распределения положительных и отрицательных слов (вы предполагаете, что они одинаково часто, но почему?), И, таким образом, вы не знаете, является ли это предвзятым или нет.