Удалить строки с японскими символами из файла

Question

Первый вопрос здесь - я искал вокруг, чтобы собрать ответ на этот вопрос, но до сих пор дошел до пустого.

У меня есть многострочный текстовый файл, который я очищаю. Частью этого является удаление строк, содержащих японские символы. Я использовал sed для других операций, но в этом случае он не работает.

У меня создалось впечатление, что использование переключателя -r и регулярного выражения \p{Han} будет работать (от просмотра других подобных вопросов), но в этом случае он не работает.

Вот моя тестовая строка - запуск этого возвращает полную строку и не отфильтровывает символы JP, как я ожидал.

echo 80岁返老还童的处女: 第3话 | sed -r "s/\\p\{Han\}//g" 

Я что-то не хватает? Есть ли другая команда, которую я должен использовать вместо этого?

Answer 1

Я думаю, что это может работать для вас:

echo "80岁返老还童的处女: 第3话" | tr -cd '[:print:]\n' 

СЭД не поддерживает классы Юникода AFAIK, и ни поддерживает мультибайтные диапазоны.

-d удаляет символы в SET1 и -c отменяет его.
[:print:] соответствует всем печатным символам, включая пробел.
\n - это символ новой строки

Вышеупомянутые не только удалят японские символы, но и все многобайтовые символы, включая контрольные символы.

Perl также может быть использован:

PERLIO=:utf8 perl -pe 's/\p{Han}//g' file 

PERLIO=:utf8 говорит Perl ступать ввод и вывод в UTF-8