Как очистить файл csv от странных символов (например, SUB)?

Question

Я загружаю файлы csv с помощью jdbc в teradata. Все было хорошо, до недавнего времени я наткнулся на файл csv, в котором были какие-то странные символы, и мой код не смог загрузить.

Я открыл файл csv в Notepad ++, и он выглядит так: SUB. Когда я открываю его в Excel, он выглядит так: ->->

Когда я удалил эти персонажи вручную, все стало нормальным. Мне любопытно, есть ли способ использовать java для очистки файла csv, чтобы удалить все виды недопустимых символов?

Answer 1

SUB-символ является ASCII 26 (= шестнадцатеричный 0x1A) , Когда DEC-10 управлял землей, это называлось Ctrl-Z. Он используется для указания конца файла.

Если это действительно в конце файла, и вы читаете его с использованием Java InputStream (и, пожалуйста, взгляните на Read/convert an InputStream to a String), он выведет этот терминал Ctrl-Z.

Было бы довольно необычно (и проблема) иметь SUB внутри CSV-данных, если только он не представлял двоичный объект.

Answer 2

Вы можете попробовать:

myString.replaceAll("\\p{C}", "?"); 

Если вы хотите, чтобы удалить его:

myString.replaceAll("\\p{C}", ""); 

Подробнее здесь: How can I replace non-printable Unicode characters in Java?