Unicode string mess в perl

Question

У меня есть внешний модуль, который возвращает мне несколько строк. Я не уверен, как точно вернутся строки. Я действительно не знаю, как работают строки Unicode и почему.

Модуль должен вернуть, например, чешское слово «být», что означает «быть». (Если вы не видите вторую букву, она должна выглядеть как this.) Если я отображу строку, возвращенную модулем, с помощью Data Dumper, я вижу это как b\x{fd}t.

Однако, если я попытаюсь распечатать его с помощью print $s, я получил предупреждение «Широкий символ в печати» и? вместо ý.

Если я попробую Encode::decode(whatever, $s);, результирующая строка не может быть напечатана в любом случае (всегда с предупреждением «Широкий символ», иногда с искалеченными персонажами, иногда справа), независимо от того, что я положил в whatever.

Если я попробую Encode::encode("utf-8", $s);, результирующая строка CAN может быть напечатана без проблем или сообщений об ошибке.

Если я использую use encoding 'utf8';, печать работает без необходимости кодирования/декодирования. Однако, если я использую модуль IO::CaptureOutput или Capture::Tiny, он снова начинает кричать «Широкий персонаж».

У меня есть несколько вопросов, в основном о том, что именно происходит. (Я пытался читать perldocs, но я был не очень мудр из них)

1. Почему я не могу напечатать строку сразу после ее получения из модуля?
2. Почему я не могу напечатать строку, декодированную «декодировать»? Что именно «декодировал»?
3. Что именно «кодировал», и почему не было проблем при печати после кодирования?
4. Что именно use encoding делать? Почему кодировка по умолчанию отличается от utf-8?
5. Что мне делать, если я хочу печатать скаляры без каких-либо проблем, даже если я хочу использовать один из модулей захвата?

редактировать: Некоторые люди говорят мне, чтобы использовать -C или binmode или PERL_UNICODE. Это отличный совет. Однако каким-то образом оба модуля захвата волшебным образом разрушают UTF8-версию STDOUT. Кажется, это больше ошибка модулей, но я не уверен.

edit2: Хорошо, лучшим решением было сбросить модули и написать «захват» себя (с гораздо меньшей гибкостью).

Answer 1

1. Поскольку вы выводите строку во внутренней форме perl (utf8) для дескриптора файла, отличного от юникода.
2. Функция decode декодирует последовательность байтов, предположительно входящих в ENCODING, во внутреннюю форму Perl (utf8). Ваш вход, кажется, уже декодирован,
3. Функция encode() кодирует строку из внутренней формы Perl в ENCODING.
4. Прагма encoding позволяет писать сценарий в любой кодировке, которая вам нравится. Строковые литералы автоматически преобразуются во внутреннюю форму perl.
5. Убедитесь, что perl знает, какая кодировка ваших данных поступает и выходит.

См. Также perluniintro, perlunicode, Encode module, binmode().

Answer 2

Вы также должны посмотреть на PERL_UNICODE environment variable, что аналогично использованию the -C option. Это позволяет вам устанавливать STDIN/STDOUT/STDERR (и @ARGV) как UTF-8 без необходимости изменять ваши скрипты.

Answer 3

Я рекомендую прочитать главу Юникода в моей книге Эффективное программирование на Perl. Мы собрали все документы, которые могли найти и объяснили Unicode в Perl гораздо более согласованно, чем я видел где-то еще.

Эта программа отлично работает для меня:

#!perl 

use utf8; 
use 5.010; 

binmode STDOUT, ':utf8'; 

my $string = return_string(); 

say $string; 

sub return_string { 'být' } 

Кроме того, Capture::Tiny работает просто отлично для меня:

#!perl 
use utf8; 
use 5.010; 
use Capture::Tiny qw(capture); 

binmode STDOUT, ':utf8'; 

my($stdout, $stderr) = capture { 
    system($^X, '/Users/brian/Desktop/czech.pl'); 
    }; 

say "STDOUT is [$stdout]"; 

IO::CaptureOutput, кажется, есть некоторые проблемы, хотя:

#!perl 
use utf8; 
use 5.010; 
use IO::CaptureOutput qw(capture); 

binmode STDOUT, ':utf8'; 

capture { 
    system($^X, '/Users/brian/Desktop/czech.pl'); 
    } \my $stdout, \my $stderr; 

say "STDOUT is [$stdout]"; 

Для это я получаю:

STDOUT is [být 
] 

Однако это легко исправить. Не используйте этот модуль. :)