Regex удалил специальный символ

Question

У меня возникла следующая проблема с регулярным выражением: я написал программу, которая читает слова из некоторых текстовых (txt) файлов и записывает их в другой файл, записывая одно слово в строке.

Все работает нормально, за исключением случаев, когда в слове есть специальные символы ľščťžýáíé. Регулярное выражение удаляет символ и разбивает слово, в котором был специальный символ.

Для примера:
Вход:

I am Jožo.

Выход:

I 
am 
Jo 
o 

Вот фрагмент кода:

while((line = br.readLine())!= null){ 
    Pattern p = Pattern.compile("[\\w']+"); 
    Matcher m = p.matcher(line); 
} 

Answer 1

Вместо этого регулярное выражение:

Pattern.compile("[\\w']+") 

Использование Unicode на основе:

Pattern.compile("[\\p{L}']+") 

Это происходит потому, что по умолчанию \\w в Java соответствует только символы ASCII, цифры 0-9 и подчеркивания.

Другой вариант является использование модификатора

Pattern.UNICODE_CHARACTER_CLASS 

Как это:

Pattern.compile("[\\w']+", Pattern.UNICODE_CHARACTER_CLASS) 

Answer 2

\\ ш соответствует только AZ, AZ и 0-9 (английский алфавит плюс цифры) если вы хотите принять любой символ, кроме пробелов, как часть слова, используйте \\ S