Кодировка символов Выпуск

Question

Я использую API, который обрабатывает мои файлы и представляет оптимизированный вывод, но некоторые специальные символы не сохраняются, например:

Вход: äöü

Выход: äöü

Как это исправить? Какую кодировку я должен использовать?

Большое спасибо за вашу помощь!

Answer 1

Это действительно зависит от того, какая обработка выполняется с вашими данными. Но в целом один мощный метод состоит в том, чтобы преобразовать его в UTF-8 с помощью Iconv, например, и передать его через API или функции, поддерживающие ASCII. В общем, если эти функции не испорчены с данными, которые они не понимают как ASCII, то UTF-8 сохраняется - это приятное свойство UTF-8.

Answer 2

Я не уверен, что язык вы используете, но такие вещи, как это происходит, когда существует несоответствие между кодированием содержания при вводе и кодирование содержимого при чтении.

Таким образом, вы могли бы хотите точно указать, какую кодировку читать данные. Вы, возможно, придется играть с реальной кодировкой вам нужно использовать

string.getBytes("UTF-8") 
string.getBytes("UTF-16") 
string.getBytes("UTF-16LE") 
string.getBytes("UTF-16BE") 
etc... 

Кроме того, некоторые исследования о системе, где эта информация поступает из. Например, веб-службы ASP.NET предоставляют контент как UTF-16LE, но Java использует кодировку UTF-16BE. Когда эти две системы разговаривают друг с другом с расширенными символами, они могут не понимать друг друга точно так же.