Вопросы преобразования Юникода

Question

Вот вопрос новичка на Unicode. Я использую Embarcadero C++ Builder 2009, где они якобы изменили строки по умолчанию, чтобы использовать Unicode.

• Я печатаю различные символы в своем исходном редакторе, которые не являются частью стандартного «7-битного ASCII».
• Моя программа использует строковый тип C++ Builder для ввода пользовательского ввода.
• Я также добавляю ввод вручную, установив значение в wchar_t.

Казалось бы, существуют конфликты в интерпретации символов. Иногда я получаю символ, например, код 0x00C7 ('Ç'), но иногда тот же символ кодируется как 0xFFC7, например, в редакторе исходного кода. Насколько я понимаю, первый - это правильный Юникод, последний - «что-то еще». Может кто-то подтвердить это?

Интересно, откуда такое кодирование «что-то еще» и как избавиться от него?

EDIT: Дальнейшие исследования: кажется, что одно место, где ** появляется 0xFF кодирование, когда я делаю что-то вроде этого:

string str = ...; 
wchar_t wch = (wchar_t)str[i]; 

тот же результат независимо от того, если это станд :: строка или VCL Строка , Есть wchar_t не то же самое, что и Unicode?

Answer 1

Я предполагаю, что проблема заключается в том, что в вашем компиляторе подписан протокол char (стандарт позволяет либо подписаться, либо без знака, он определен или определен конкретным). Таким образом, всякий раз, когда вы конвертируете символы, у которых бит 7 установлен в 1 (от 0x80 до 0xFF), в любой более крупный целочисленный тип, он рассматривается как отрицательное значение, и он получает расширенный знак для сохранения отрицательного значения или, другими словами, этот бит 7 копируется в бит 8, бит 9 и т. д. во все старшие разряды большего целочисленного типа. Таким образом, 0xC7 может превратиться в 0xFFC7 и 0xFFFFFFC7. Чтобы этого не произошло, сначала нанесите chars на номер unsigned chars.

Answer 2

Широкий характер типа w_type определяется реализацией и не должен соответствовать понятию символа Юникода. Проверьте description of w_type in the Unicode Standard.

Если «Ç» изменен на 0xFFC7, он очень похож на расширение знака, то есть символ внутренне сохраняется в виде байта 0xC7, который затем принимается как подписанное 8-битовое целое и преобразуется в 16-разрядное целое число с расширение знака.