Каков наилучший способ вставки символа Unicode в сценарий оболочки POSIX?

Question

Существует несколько способов, связанных с оболочкой, которые включают строку «unicode literal» в строке. Например, в Bash, цитируемый механизм расширения строк, $'', позволяет непосредственно вставлять невидимый символ: $'\u2620'.

Однако, если вы пытаетесь написать универсальные межплатформенные shell-скрипты (как правило, это может быть усечено до «работает в Bash, Zsh и Dash.»), Это не переносная функция.

я могу переносимый достичь чего-либо в таблице ASCII (восьмеричный номер-пространство) с конструкцией, как следующее:

WHAT_A_CHARACTER="$(printf '\036')" 

... Однако, POSIX/черточка printf поддерживает только восьмеричные побеги.

Я также, очевидно, может достичь полного пространства Unicode с помощью сельского хозяйства задачу, чтобы в более полной программной среде:

OH_CAPTAIN_MY_CAPTAIN="$(ruby -e 'print "\u2388"')" 
TAKE_ME_OUT_TONIGHT="$(node -e 'console.log("\u266C")')" 

Итак: что лучший способ для кодирования такого символа в раковине-скрипт, что:

1. Работает в dash, bash и zsh,
2. показывает шестнадцатеричное кодирование в элемент кода, кода
3. не зависит от конкретной кодировки строки (т.е. не путем кодирования байтов UTF-8 в восьмеричном)
4. и, наконец, не требует вызова любого «тяжелого» интерпретатора. (Скажем, менее 0,01 с выполнения.)

Answer 1

Если у вас есть Gnu printf установлен (это в пакете DEBiAN coreutils), то вы можете использовать его независимо от того, какую оболочку вы используете, избегая встроенной оболочки:

env printf '\u2388\n' 

Здесь я использую Posix-стандартный env команду, чтобы избежать использования printf встроенной команды, но если вы не знаете, где printf это вы можете сделать это напрямую, используя полный, путь, например

/usr/bin/printf '\u2388\n' 

Если ваш внешний printf и встроенный в ваш корпус корпус printf используют только стандарт Posix, вам нужно работать усерднее. Одна из возможностей заключается в использовании iconv для перевода на UTF-8, но, хотя стандарт Posix требует, чтобы был командой iconv, он никоим образом не предписывает, как названы стандартные кодировки.Я думаю, что следующее будет работать на большинстве Posix-совместимых платформ, но количество подоболочек созданных может быть достаточно, чтобы сделать его менее эффективным, чем «тяжелый» сценарий переводчик:

printf $(printf '\\%o' $(printf %08x 0x2388 | sed 's/../0x& /g')) | 
iconv -f UTF-32BE -t UTF-8 

выше использует printf встроенной команду, чтобы заставить значение шестнадцатеричного кодового слова должно быть 8 шестнадцатеричных цифр, затем sed, чтобы переписать их как 4 шестнадцатеричных константы, затем printf снова, чтобы изменить шестнадцатеричные константы в восьмеричную нотацию и, наконец, еще один printf, чтобы интерпретировать восьмеричные постоянные символа в четырехбайтную последовательность, которая может подаваться в iconv в качестве широкоформатного UTF-32. (Это было бы проще с printf, который признает \x экранирующих кодов, но Posix не требует, чтобы и dash не реализует его.)

Вы можете использовать строку без изменений на печать более одного символа, до тех пор, как вы предоставить кодовые Unicode (как целочисленные константы) для каждого из них (например, выполненных в dash):

$ printf $(printf '\\%o' $(printf %08x 0x2388 0x266c 0xA | 
>       sed 's/../0x& /g')) | 
> iconv -f UTF-32BE -t UTF-8 
⎈♬ 
$ 

Примечание: Как Geoff Никсон упоминает в комментариях, рыба оболочка (которая нигде близко к Posix, и, насколько я вижу, не имеет стремления к соответствию) будет жаловаться на неупорядоченные %08x аргумент формата printf, так как он ожидает, что слова, начинающиеся с %, будут выполняться с помощью заданий. Поэтому, если вы используете рыбу, добавьте кавычки в аргумент формата.

Answer 2

я бы с

echo -e "\xc3\xb6" 

не проверить его:

~ $ echo -e "\xc3\xb6" 
ö 
~ $ echo -n ö | hexdump 
0000000 b6c3         
0000002