Проверьте, содержит ли файл многобайтовый символ

У меня есть файлы субтитров в UTF-8. Иногда в этих файлах есть несколько спорадических многобайтовых символов, которые вызывают проблемы в некоторых приложениях.Проверьте, содержит ли файл многобайтовый символ

Как проверить в linux (и возможность найти их), если определенный файл содержит любой многобайтовый символ.

источник

2012-04-29 Masroor

командный файл можно использовать

chalet16$ echo test > a.txt 
chalet16$ echo testก > b.txt #One of Thai characters 
chalet16$ file *.txt 
a.txt: ASCII text 
b.txt: UTF-8 Unicode text

источник

2012-04-29 15:18:09 chalet16

Большое спасибо. Есть ли способ найти обидного персонажа? – Masroor

Вы можете использовать команду file или chardet.

источник

2012-04-29 15:16:13 kev

Спасибо большое, chardet или файла похожие результаты. Есть ли способ найти оскорбительного персонажа, такого как ä? – Masroor

@MMA Вы можете использовать 'grep -P '[^ \ x00- \ x7f]' input.txt' для поиска. – kev

Проверьте, содержит ли файл многобайтовый символ

ответ

Смежные вопросы