раскол текста с Неразрывно фразами

Question

У меня есть список, содержащий некоторые Неразрывно слова, как

List<String> lookUp = new ArrayList<>(); 
lookUp.add("New York"); 
lookUp.add("Big Apple"); 

Для предложения Я хочу, чтобы разбить его на слова, но не расколоть неразрывно слова, приведенные в моем списке. Так пример

String sentence = "New York is also called Big Apple"; 

он должен вернуть мне

["New York", "is", "also", "called", "Big Apple"] 

Я начал писать алгоритм, который первым расщепляет предложение по непечатаемым, а затем я делаю петлю: Для каждого слова я проверить, если это слово и это правый сосед в lookUp-списке, и, если это правда, проанализируйте эти слова вместе.

1) Представьте, что мой lookUp-список содержит содержательные фразы с более чем двумя словами, такими как «George W. Bush» -> мой алгоритм будет искать только «George W.» и «У. Буш» и не найдет его в списке поиска, поэтому он разделил бы его на 3 слова.

2) Более важный вопрос (для которого вы можете игнорировать вопрос 1): Есть ли уже библиотека или даже плагин GATE (так что мне не нужно изобретать колесо)? И это также существует для немецких фраз? Я не мог найти один = (

Answer 1

Другой реализацию на Java 7, который не использует: regular expressions

List<String> lookUp = new ArrayList<>(); 
    lookUp.add("New York"); 
    lookUp.add("New Jersey"); 
    lookUp.add("Big Apple"); 
    lookUp.add("George W. Bush"); 

    String sentence = "New York is also called Big Apple . New Jersey is located near to New York . George W. Bush doesn't live in New Mexico`"; 

    String currentPhrase = ""; 
    List<String> parseResult = new ArrayList<>(); 

    for (String word : sentence.split("\\s+")) { 
     currentPhrase += (currentPhrase.isEmpty() ? "" : " ") + word; 
     if (lookUp.contains(currentPhrase)) { 
      parseResult.add(currentPhrase); 
      currentPhrase = ""; 
      continue; 
     } 
     boolean phraseFound = false; 
     for (String look : lookUp) 
      if (look.startsWith(currentPhrase)) { 
       phraseFound = true; 
       break; 
      } 

     if (!phraseFound) { 
      parseResult.addAll(Arrays.asList(currentPhrase.split("\\s+"))); 
      currentPhrase = ""; 
     } 
    } 

    System.out.println(parseResult); 

Выхода есть:

[New York, is, also, called, Big Apple, ., New Jersey, is, located, near, to, New York, ., George W. Bush, doesn't, live, in, New, Mexico]