java Regex - разделить, но игнорировать текст внутри кавычек?

Question

, используя только методы регулярного выражения, метод String.replaceAll и ArrayList Как я могу разделить String на токены, но игнорировать разделители, которые существуют внутри кавычек? разделителем любой символ, который не алфавитно-цифровой или цитируемый текст

, например: Строка:

привет^world'this * имеет две лексемы

Выведите:

• привет
• worldthis * имеет два маркера

Answer 1

Используйте Matcher, чтобы идентифицировать части, которые вы хотите сохранить, а не части, которые вы хотите разделить на:

String s = "hello^world'this*has two tokens'"; 
Pattern pattern = Pattern.compile("([a-zA-Z0-9]+|'[^']*')+"); 
Matcher matcher = pattern.matcher(s); 
while (matcher.find()) { 
    System.out.println(matcher.group(0)); 
} 

Смотреть это работает онлайн: ideone

Answer 2

Вы не можете любым разумным способом. Вы ставите проблему, что регулярные выражения не очень хороши.

Answer 3

Не используйте для этого регулярное выражение. Это не сработает. Вместо этого используйте/напишите парсер.

Вы должны использовать правильный инструмент для правильной задачи.

Answer 4

Я знаю, что это чертовски хорошая и уже принятый ответ уже присутствует, но я хотел бы добавить другое основанное на регулярном выражении (и, возможно, проще говоря) подход, чтобы разделить данный текст с использованием любого не-алфавитно-цифрового разделителя, который не внутри одинарных котировок, используя

Regex:

/(?=(([^']+'){2})*[^']*$)[^a-zA-Z\\d]+/ 

Который в основном означает соответствовать не алфавитно-цифровой текст, если он с последующим четным числом одинарные кавычки другими словами соответствовать не алфавитно-цифровой текст, если он находится вне одинарные кавычки.

Код:

String string = "hello^world'this*has two tokens'#2ndToken"; 
System.out.println(Arrays.toString(
    string.split("(?=(([^']+'){2})*[^']*$)[^a-zA-Z\\d]+")) 
); 

Выход:

[hello, world'this*has two tokens', 2ndToken] 

Демо:

Here is a live working Demo of the above code.