Создать символ Юникода с пакетом

Question

Я пытаюсь понять, как Perl обрабатывает unicode.

use feature qw(say); 
use strict; 
use warnings; 

use Encode qw(encode); 

say unpack "H*", pack("U", 0xff); 
say unpack "H*", encode('UTF-8', chr 0xff); 

Выход:

ff 
c3bf 

Почему я получаю ff и не c3bf при использовании пакета?

Answer 1

Почему я использую пакет ff, а не c3bf?

Это потому, что пакет создает строку символов, а не строку байтов.

> perl -MDevel::Peek -e 'Dump(pack("U", 0xff));' 
SV = PV(0x13a6d18) at 0x13d2ce8 
    REFCNT = 1 
    FLAGS = (PADTMP,POK,READONLY,pPOK,UTF8) 
    PV = 0xa6d298 "\303\277"\0 [UTF8 "\x{ff}"] 
    CUR = 2 
    LEN = 32 

Следовательно распаковать («H *») не смотрит на байт-значение этой строки, но (усеченного) характер значение его. Если бы вы сделали:

say unpack "H*", encode("UTF-8", pack("U", 0xff)); 

Тогда вы получите ожидаемый результат.

См. Также this thread.

Answer 2

pack('U', 0xFF) 

просто странный способ сделать

chr(0xFF) 

так

"\xFF"        returns chars FF 
chr(0xFF)       returns chars FF 
pack('U', 0xFF)     returns chars FF 

"\xC3\xBF"       returns chars C3 BF 
encode('UTF-8', chr(0xFF))   returns chars C3 BF 
encode('UTF-8', pack('U', 0xFF)) returns chars C3 BF 

так

say unpack "H*", "\xFF";        outputs ff 
say unpack "H*", chr(0xFF);       outputs ff 
say unpack "H*", pack('U', 0xFF);     outputs ff 

say unpack "H*", "\xC3\xBF";       outputs c3bf 
say unpack "H*", encode('UTF-8', pack('U', 0xFF)); outputs c3bf 
say unpack "H*", encode('UTF-8', chr(0xFF));   outputs c3bf