Текста токенизатора - извлечение слова и позиция из текста

Question

У меня есть Set из character разделителей (DELIMITERS), например ., и т.д. С помощью этого я хочу, чтобы разделить текст и получить слова с их позицией в тексте. String.split() работает нормально, если вы хотите только слова. То же самое с StringTokenizer. Написал какой-то простой способ справиться с этим, но, может быть, есть лучший способ достичь этого результата?

public List<String> extractWords(String text){ 
    List<String> words = new ArrayList<>(); 
    List<WordPos> positions = new ArrayList<>(); 
    int wordStart = -1; 
    for(int i=0; i < text.length(); i++){ 
     if(DELIMITERS.contains(text.charAt(i))){ 
      if(wordStart >=0){ //word just ended 
       String word = text.substring(wordStart, i); 
       positions.add(new WordPos(wordStart, i)); 
       words.add(word); 
      } 
      wordStart = -1; 
     }else{ //not delimiter == valid word 
      if(wordStart < 0){ //word just started 
       wordStart = i; 
      } 
     } 
    } 
    return words; 
} 

// inner static class for words positions 
public static class WordPos{ 
    int start; 
    int end; 
    public WordPos(int start, int end){ 
     this.start = start; 
     this.end = end; 
    } 
} 

Answer 1

С точки зрения эффективности, я думаю, что ваше решение неплохое. С эстетического аспектом (как выглядит код), я хотел бы использовать Apache Commons nStringUtils делать что-то вроде (не пробовали):

1. вертел все жетоны с помощью: splitPreserveAllTokens()
2. итерации через полученный массив и хранить маркер и положение каждого из них, которое я получил бы от вызова lastIndexOf.

Answer 2

List<String> words = new ArrayList<>(); 
List<WordPos> positions = new ArrayList<>(); 
int index = 0; 
String word = ""; 
StringTokenizer st = new StringTokenizer("., "); 


while(st.hasMoreTokens()) { 

word = st.nextToken(); 
words.add(word); 
positions.add(new WordPos(index,index+word.length())); 

index+= word.length() +1; 
} 

С вышеизложенным подходом я полагаю там не 2 последовательных разделителей. Если это произойдет, то подход будет совершенно таким же.