Разбивает строку на предложения

Question

Я написал этот кусок кода, который расщепляет строку и сохраняет ее в массив строк: -

String[] sSentence = sResult.split("[a-z]\\.\\s+"); 

Однако, я добавил [аз], потому что я хотел иметь дело с некоторые из аббревиатурных проблем. Но тогда мой результат показывает, как так: -

Кроме того, когда Эверетт пытался наставлять их в основной математике они оказались unresponsiv

Я вижу, что я теряю шаблон, указанный в функции разделения. Это нормально для меня, чтобы потерять период, но потеря последней буквы слова нарушает его значение.

Может ли кто-нибудь помочь мне в этом, и, кроме того, кто-нибудь может помочь мне справиться с сокращениями? Например, поскольку я разбил строку на основе периодов, я не хочу терять аббревиатуры.

Answer 1

Разбор предложений далеко не является тривиальной задачей, даже для латинских языков, таких как английский. Наивный подход, подобный тому, который вы изложите в своем вопросе, будет недостаточно часто, чтобы на практике он оказался бесполезным.

Лучшим подходом является использование BreakIterator, настроенного с правильной локалью.

BreakIterator iterator = BreakIterator.getSentenceInstance(Locale.US); 
String source = "This is a test. This is a T.L.A. test. Now with a Dr. in it."; 
iterator.setText(source); 
int start = iterator.first(); 
for (int end = iterator.next(); 
    end != BreakIterator.DONE; 
    start = end, end = iterator.next()) { 
    System.out.println(source.substring(start,end)); 
} 

дает следующий результат:

1. Это тест.
2. Это T.L.A. контрольная работа.
3. Теперь с доктором в нем.

Answer 2

Это будет трудно получить регулярное выражение для работы во всех случаях, но исправить вашу непосредственную проблему вы можете использовать назад ':

String sResult = "This is a test. This is a T.L.A. test."; 
String[] sSentence = sResult.split("(?<=[a-z])\\.\\s+"); 

Результат:

This is a test 
This is a T.L.A. test. 

Обратите внимание, что это аббревиатуры, которые не заканчиваются прописными буквами, такими как аббревиатура, г-н и т. д. ... И есть также предложения, которые не заканчиваются в периоды!

Answer 3

Если вы можете, используйте инструмент обработки естественного языка, такой как LingPipe. Есть много тонкостей, которые будут очень трудно поймать с помощью регулярных выражений, например, (например :-)), г-н , аббревиатуры, многоточия (...), и так далее.

На сайте LingPipe существует очень простое руководство по обучению на Sentence Detection.