Как преобразование между char и wchar_t работает в Windows?

Question

В Windows есть функции, такие как mbstowcs для преобразования между char и wchar_t. Существуют также функции C++, такие как from_bytes<std::codecvt<wchar_t, char, std::mbstate_t>>.

Но как это работает в кулисах, поскольку char и wchar_t, очевидно, имеют разный размер? Я предполагаю, что системная кодовая страница каким-то образом связана? Но что произойдет, если wchar_t не может быть скоррелирован с char (в конце концов, он может содержать намного больше значений)?

Также, что происходит, если код, который должен использовать символ (возможно, из-за библиотеки), перемещается между компьютерами с разными кодовыми страницами? Скажите, что только с использованием чисел (0-9), которые находятся в пределах диапазона ASCII, всегда будет безопасно?

И, наконец, что происходит на компьютерах, где местный язык не может быть представлен в 256 символах? В этом случае понятие char кажется совершенно несущественным, кроме как для хранения, например, utf8.

Answer 1

Все зависит от CVT фаски используется, как описано here

В вашем случае (std::codecvt<wchar_t, char, std::mbstate_t>) все это сводится к mbsrtowcs/wcsrtombs используя глобальную локаль. (то есть локаль «C», если вы ее не замените системным)

Answer 2

Я не знаю о mbstowcs(), но я предполагаю, что он похож на std::codecvt<cT, bT, std::mbstate_t>. Последние странствия в терминах двух типов:

• Тип характераcT, который находится в вашем коде wchar_t.
• A байт типbT который обычно char.

Третий тип игры, std::mbstate_t, используется для хранения любого промежуточного состояния между вызовами на фасет std::codecvt<...>. Границы не могут иметь какое-либо изменчивое состояние, и любое состояние между вызовами должно быть получено каким-то образом. К сожалению, структура std::mbstate_t оставлена ​​неуказанной, то есть нет переносного способа фактически использовать ее при создании собственных граней преобразования кода.

Каждый экземпляр std::codecvt<...> реализует преобразования между байтами внешнего кодирования, например UTF8, и символы. Первоначально каждый символ предназначался как автономный объект, но различные причины (в основном извне сообщества C++, особенно из-за изменений, внесенных в Unicode) приводили к тому, что внутренние символы были фактически самими кодировками. Обычно используемые внутренние кодировки: UTF8 для char и UTF16 или UCS4 для wchar_t (в зависимости от того, использует ли wchar_t 16 или 32 бита).

Преобразования декодирования, сделанные std::codecvt<...>, принимают входящие байты во внешнем кодировании и превращают их в символы внутренней кодировки. Например, когда внешнее кодирование является UTF8, входящие байты преобразуются в 32-битные кодовые точки, которые затем застревают в символах UTF16, разбивая их до wchar_t, когда это необходимо (например, когда wchar_t - 16 бит).

Детали этого процесса не определены, но это потребует некоторой маскировки и смещения бит.Кроме того, различные преобразования будут использовать разные подходы. Если сопоставление между внешней и внутренней кодировкой не так тривиально, как отображение одного представления Unicode в другое представление, могут быть подходящие таблицы, обеспечивающие фактическое сопоставление.

Answer 3

я, что вмассив символов является фактически UTF-8 строка в кодировке, то вы можете преобразовать его в и из массива wchar_t UTF-16, закодированные с помощью

#include <locale> 
#include <codecvt> 
#include <string> 

std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> converter; 
std::string narrow = converter.to_bytes(wide_utf16_source_string); 
std::wstring wide = converter.from_bytes(narrow_utf8_source_string); 

, как описано в более подробно на https://stackoverflow.com/a/18597384/6345