Каков правильный способ получить графем?

Question

Почему это печатает U, а не Ü?

#!/usr/bin/env perl 
use warnings; 
use 5.014; 
use utf8; 
binmode STDOUT, ':utf8'; 
use charnames qw(:full); 

my $string = "\N{LATIN CAPITAL LETTER U}\N{COMBINING DIAERESIS}"; 

while ($string =~ /(\X)/g) { 
     say $1; 
} 

# Output: U 

Answer 1

Это работает для меня, хотя у меня есть старая версия Perl, 5.012 на убунту. Мое единственное изменение вашего сценария: use 5.012;

$ perl so.pl 
Ü 

Answer 2

Могу ли я предложить это выход, который является неправильным? Это легко проверить: заменить код цикла с:

my $counter; 
while ($string =~ /(\X)/g) { 
    say ++$counter, ': ', $1; 
} 

... и посмотреть, сколько раз регулярное выражение будет соответствовать. Думаю, он по-прежнему будет соответствовать только один раз.

В качестве альтернативы, вы можете использовать этот код:

use Encode; 
sub codepoint_hex { 
    sprintf "%04x", ord Encode::decode("UTF-8", shift); 
} 

... а затем распечатать codepoint_hex ($ 1) вместо обычного $ 1 в то время цикла.

Answer 3

1) По-видимому, ваш терминал не может отображать расширенные символы. На моем терминале, он печатает:

U¨ 

2)\X не делать то, что вы думаете, что он делает. Он просто выбирает символы, которые идут вместе. Если вы используете строку "fu\N{COMBINING DIAERESIS}r", программа отображает:

f 
u¨ 
r 

Обратите внимание, как диакритический знак не печатается в одиночку, а с его соответствующим символом.

3) Чтобы объединить все связанные с ним символы в одном, используйте модуль Unicode::Normalize:

use Unicode::Normalize; 

my $string = "fu\N{COMBINING DIAERESIS}r"; 
$string = NFC($string); 

while ($string =~ /(\X)/g) { 
    say $1; 
} 

Он показывает:

f 
ü 
r 

Answer 4

Ваш код правильный.

Вам действительно нужно играть в эти вещи по номерам; не доверяйте тому, что отображается «терминал». Протяните его через the uniquote program, возможно, с -x или -v, и посмотрите, что он на самом деле делает.

Глаза обманывают, а программы еще хуже. Ваша терминальная программа глючит, так и лжет вам. Нормализация не должна иметь значения.

$ perl -CS -Mutf8 -MUnicode::Normalize -E 'say "crème brûlée"' 
crème brûlée 
$ perl -CS -Mutf8 -MUnicode::Normalize -E 'say "crème brûlée"' | uniquote -x 
cr\x{E8}me br\x{FB}l\x{E9}e 
$ perl -CS -Mutf8 -MUnicode::Normalize -E 'say NFD "crème brûlée"' 
crème brûlée 
$ perl -CS -Mutf8 -MUnicode::Normalize -E 'say NFD "crème brûlée"' | uniquote -x 
cre\x{300}me bru\x{302}le\x{301}e 

$ perl -CS -Mutf8 -MUnicode::Normalize -E 'say NFC scalar reverse NFD "crème brûlée"' 
éel̂urb em̀erc 
$ perl -CS -Mutf8 -MUnicode::Normalize -E 'say NFC scalar reverse NFD "crème brûlée")' | uniquote -x 
\x{E9}el\x{302}urb em\x{300}erc 
$ perl -CS -Mutf8 -MUnicode::Normalize -E 'say scalar reverse NFD "crème brûlée"' 
éel̂urb em̀erc 
$ perl -CS -Mutf8 -MUnicode::Normalize -E 'say scalar reverse NFD "crème brûlée"' | uniquote -x 
e\x{301}el\x{302}urb em\x{300}erc