Сканер без разделителя

Question

Я хотел бы иметь возможность анализировать строки, такие как: «123456abcd9876az45678». BNF, как это:

number: ? definition of an int ? 
word: letter { , letter } 
expression: number { , word , number } 

Однако класс java.util.scanner не позволяет мне сделать следующее:

Scanner s = new Scanner("-123456abcd9876az45678"); 
System.out.println(s.nextInt()); 
while (s.hasNext("[a-z]+")) { 
    System.out.println(s.next("[a-z]+")); 
    System.out.println(s.nextInt()); 
} 

В идеале, это должно привести:

-123456 
abcd 
987 
az 
45678 

Я действительно надеялся, что java.util.Scanner поможет мне, но похоже, что мне придется создать свой собственный сканер. Есть ли что-то, что уже присутствует в Java API, чтобы помочь мне?

---

Вопрос пропустить слишком много информации. И поэтому все ответы действительны для вопроса, но не для моей проблемы.

Answer 1

К сожалению, вы не можете использовать разделители со сканером класса AFAIK. Если вы хотите игнорировать разделители, вам нужно будет использовать методы, которые делают такие, как findInLine() или findWithinHorizon(). В вашем случае будет findWithinHorizion().

Scanner s = new Scanner("-123456abcd9876az45678"); 
Pattern num = Pattern.compile("[+-]?\\d+"); 
Pattern letters = Pattern.compile("[A-Za-z]+"); 
System.out.println(s.findWithinHorizon(num, 0)); 
String str; 
while ((str = s.findWithinHorizon(letters, 0)) != null) { 
    System.out.println(str); 
    System.out.println(s.findWithinHorizon(num, 0)); 
} 

Answer 2

Вы можете достичь этого, используя классы Pattern и Matcher. См. Пример this.

Answer 3

Чтобы использовать сканер в качестве токенизатора, использовать findWithinHorizon с \G для сканирования с самого начала группы (= текущее положение) только.

Пример поддержки пробелов (в соответствии с просьбой в комментариях):

Scanner scanner = new Scanner(input); 
while (true) { 
    String letters = scanner.findWithinHorizon("\\G\\s*\\[a-zA-Z]+", 0); 
    if (letters != null) { 
    System.out.println("letters: " + letters.trim()); 
    } else { 
    String number = scanner.findWithinHorizon("\\G\\s[+-]?[0-9]+", 0); 
    if (number != null) { 
     System.out.println("number: " + number.trim()); 
    } else if (scanner.findWithinHorizon("\\G\\s*\\Z", 0) != null) { 
     System.out.println("end"); 
     break; 
    } else { 
     System.out.println("unrecognized input"); 
     break; 
    } 
    } 
} 

В реальных приложениях, вы, вероятно, следует собрать образцы авансовые.

Answer 4

Вы можете установить разделитель на шаблон, который не может соответствовать чему-либо, например.

Scanner s = ... 
s.useDelimiter("(?!=a)a");