Обнаружение опасности в твитах

Question

Ищите API, методы, исследования и т. Д., Чтобы решить, может ли твит (строка, действительно) передать настроение опасности.

Например:

• Опасность: "этот дом по улице в огне !!

• Не опасность:" эта девушка в огне! люблю эту песню»

Answer 1

Существует мало исследований, проведенных на конкретной задачи обнаружения опасности, но есть несколько научных статей, описывающих методы обнаружения опасных природных явлений. Ваш пример напоминает название одной из их: Finding Fires with Twitter. Еще одно исследование, которое может оказаться полезным, - Emergency Situation Awareness: Twitter Case Studies.

В целом, однако, наилучшим подходом к решению такой проблемы является контролируемая классификация, очень похожая на то, как анализ чувств (или, скорее, был, поскольку есть более сложные парадигмы машинного обучения, такие как Deep Learning, применяемые в настоящее время) d один.

Суть заключается в том, чтобы наклеить документы (в вашем случае, твиты) на «опасность» и «не опасность». Эта маркировка выполняется специалистами-людьми. В идеале, они должны хорошо разбираться в языке и области. Таким образом, использование носителей английского языка, знающих коллоквиализмы Twitter, будет идеальным аннотатором для этой задачи.

После того, как соответствующее количество документов было помечено, базовая линия (т. Е. Базовый подход) обычно достигается путем создания векторов слов n-gram в качестве векторов признаков и запуска SVM. Если вы не знаете деталей машинного обучения, прочитайте их перед тем, как это сделать.