Unicode SMP «character» в C# char

Question

Я пытаюсь определить последствия кодировки символов для программной системы, которую планирую, и при выполнении теста обнаружил что-то странное.

Насколько я знаю, C# внутренне использует UTF-16, который (насколько мне известно) охватывает каждую кодовую точку Unicode, используя два 16-битных поля. Поэтому я хотел сделать некоторые литералы символов и намеренно выбрал и 얤, потому что первая из плоскости SMP, а последняя - из плоскости BMP. Полученные результаты:

char ch1 = '얤'; // No problem 
char ch2 = ''; // Compilation error "Too many characters in character literal" 

Что происходит?

Из-за этого вопроса, если у меня есть строка «얤얤», она отображается правильно в MessageBox, однако, когда я преобразовываю ее в char [], используя ToCharArray, я получаю массив с четырьмя элементами, а не тремя. Также String.Length отображается как четыре, а не три.

Я что-то упустил?

Answer 1

Ваш исходный файл может быть не сохранен в UTF-8 (что рекомендуется при использовании специальных символов в источнике), поэтому компилятор может фактически увидеть последовательность байтов, которая смущает его. Вы можете убедиться, что, открыв исходный файл в шестнадцатеричном редакторе, байт (ы), который вы увидите вместо своего персонажа, скорее всего, будет другим.

Если он еще не включен, вы можете включить этот параметр в Инструменты-> Параметры-> Документы в Visual Studio (я использую 2008) - опция Save documents as Unicode when data cannot be saved in codepage.

Как правило, лучше указать специальные символы, используя последовательность символов.

В этом MSDN article описано использование последовательностей \uxxxx для указания нужного символьного кода в Юникоде. В этом blog entry перечислены все возможные escape-последовательности C# - причина, по которой я включаю это, потому что он упоминает использование \ xnnn - избегает использования этого формата: это переменная длина версии \u, и это может вызвать проблемы в некоторых ситуациях (не в ваших , хоть).

MSDN article указывает, почему назначение символов не подходит: кодовая точка для рассматриваемого символа - это> FFFF, который находится за пределами диапазона для типа char.

Что касается строковой части вопроса, то ответ заключается в том, что символ SMP представляется в виде двух значений char. This SO question содержит некоторый код, показывающий, как получить коды из строки, это связано с использованием StringInfo.GetTextElementEnumerator

Все это было освещено в комментариях к этому ответу, поэтому я только что привел соответствующую информацию в эту ответьте и теперь согласитесь с этим.

Answer 2

MSDN says that the char type can represent Unicode 16-bit character (таким образом только символ форма BMP).

Если вы используете символ вне BMP (в UTF-16: дополнительная пара - 2x16 бит), компилятор рассматривает это как два символа.