カビパン男と私 > 電算 > Unicode の番号から utf-8 のバイト列を得る

Unicode の番号から utf-8 のバイト列を得る

やりたいこと

たとえば、石という文字をあらわす Unicode のコードポイントは U+77F3 である。これから、石という文字を表す utf-8 のバイト列を得たい。具体的には、utf-8 のターミナルで

$ unicode_to_utf8 77F3
石

ということをするシェルスクリプトを作成したい。

utf-8 の仕組み

ここで私が下手な説明をするまでもなかろうが、自分のためにメモしておくと以下のごとし。

例として U+77F3(Unicode のコードポイント) から E79FB3（utf-8 のバイトの16進表現）を求める。

77F3 という数は2進にして15ビットあるが、これを 111011111110011 というふうに並んだ15人様ご一行の団体旅行客と考えてみる。 乗せるご一行様の人数に応じて、連結されている車両数（バイト数）の異なる列車が用意されている（以下 1 両編成、2 両編成、3 両編成の列車の絵をかいた）。

各編成で各バイトの上位には、はじめから乗務員が乗っている。これは、それが何両編成の列車なのかを知るための目印となる。 下の絵では _ によって示してある場所が、客を乗せるスペースである。

  1バイト編成の列車（7 ビットぶんの客を乗せることができる）
        ┌──────────┐
        │ 0 _ _ _ _ _ _ _    │
        └──────────┘
  2バイト編成の列車 (5+6=11 ビットぶんの客を乗せることができる)
        ┌──────────┐┌──────────┐
        │ 1 1 0 _ _ _ _ _    ││ 1 0 _ _ _ _ _ _    │
        └──────────┴┴──────────┘
  3バイト編成の列車 (4+6+6=16 ビットぶんの客を乗せることができる)
        ┌──────────┐┌──────────┐┌──────────┐
        │ 1 1 1 0 _ _ _ _    ││ 1 0 _ _ _ _ _ _    ││ 1 0 _ _ _ _ _ _    │	
        └──────────┴┴──────────┴┴──────────┘

111011111110011 は 15 ビットなので、3両編成の列車に乗せる。 （1両編成に乗りきれる団体様ご一行を 2 両編成に乗せてはいけないし、 2 両編成に乗りきれる団体様ご一行を 3 両編成に乗せてもいけないという約束がある。 いわゆる「utf-8 の冗長性」という問題を避けるためである）

では、団体様ご一行を 3 つのグループに分けて各車輌に分乗させてみる。

                   ↓空席ができる                  こっちに詰めて乗せる→
        ┌──────────┐┌──────────┐┌──────────┐
        │ 1 1 1 0 _ 1 1 1    ││ 1 0 0 1 1 1 1 1    ││ 1 0 1 1 0 0 1 1    │
        └──────────┴┴──────────┴┴──────────┘

空席に 0 を詰める。

                   ↓
        ┌──────────┐┌──────────┐┌──────────┐
        │ 1 1 1 0 0 1 1 1    ││ 1 0 0 1 1 1 1 1    ││ 1 0 1 1 0 0 1 1    │	
        └──────────┴┴──────────┴┴──────────┘

乗務員と乗客を合わせた 111001111001111110110011 が、 utf-8 のバイト列を 2 進で表現したものになる。

この 111001111001111110110011 を使って utf-8 に設定されたターミナルから「石」という字を出力することを考えてみよう。 逆ポーランド電卓の dc を使うと、

$ dc
2i                           # 入力を2進と解する
11100111 10011111 10110011   # 1 バイトずつ、上位バイトから順にスタックに詰め込む
Sa Sb Sc La Lb Lc P P P      # スタックに先に詰め込まれた数から順にバイト列として出力

で「石」が出力される。

この 111001111001111110110011 を16進に直すと E79FB3 であるから、これを echo によって

$ echo -e '\xE7\x9F\xB3'

とか、xxd を使って

echo -n  E79FB3 | xxd -r -p

とかしても「石」が得られる。

dc を使った実用的？？シェル関数

それでは、Unicode のコードポイント（たとえば 77F3）を入力すると「石」という文字を標準出力に得られるシェル関数を作ってみる。 良きプログラマによる良き言語のための良きライブラリがいくらでもあるだろうから、まともな用途はそちらにお任せしてここでは本体を dc で書いてみた。すごく遅いよw

dc の出入力を16進に設定してやっているが、やっていることは上の説明において 2 進でやったことと同じ。 だだし、上の説明のビット演算に相当することを加減乗除によって行っている。 何両編成の列車に乗せるかの条件分岐をレジスタに登録したマクロの呼び出しで実現したので、思ったより面倒だった。

unicode_to_utf8	()        # シェルの関数を定義
{
unicode=`echo $1 | sed -e 's/^[uU]+//'| tr "a-f" "A-F"` 
                         # 引数は unicode をあらわすテキスト
                         # 例えば 60 とか A7 とか 77F3 とか 2123D とか
dc<<END            # 次の行から END までが dc プログラム
16 doi                   # 出力入力とも16進に。
$unicode sa              # レジスタ a に、入力された unicode を保存。
[P q]sf                  # レジスタ f に、
                         # 　utf-8 のバイト列を表示して終了するマクロを登録（1 バイト用）。
[la 40 / C0 + sb         # レジスタ g に、
la 40 % 80 + sc          # 　utf-8 のバイト列を表示して終了するマクロを登録（2 バイト用）
lc lb PP q]sg
[la 1000 / E0 + sb       # レジスタ h に、
la 1000 % 40 / 80 + sc   # 　utf-8 のバイト列を表示して終了するマクロを登録（3 バイト用）
la 40 % 80 + sd
ld lc lb PPP q]sh
[la 40000 / F0 + sb       # レジスタ i に、
la 40000 % 1000 / 80 + sc # 　utf-8 のバイト列を表示して終了するマクロを登録（4 バイト用）
la 1000 % 40 / 80 + sd
la 40 % 80 + se
le ld lc lb PPPP q]si     
la d 7F !<f             # unicode が 7F 以下ならマクロ f を起動
la d 7FF !<g            # unicode が 7FF 以下ならマクロ g を起動
la d FFFF !<h           # unicode が FFFF 以下ならマクロ h を起動
la d 1FFFFFF !<i        # unicode が 1FFFFFF 以下ならマクロ i を起動
q                          # 終了
END
}

おまけ

今までやってきたこととは逆に、「石」という文字の utf-8 におけるバイト列がどういうものか知りたいならば、utf-8 のターミナルで、

$ echo -n 石 | od -tx1 -An
 e7 9f b3

なんて具合でよし。2 進で見たかったら、

$ echo -n  石 | xxd -g 1 -b
0000000: 11100111 10011111 10110011                             ...

なんてすればよし。

（もっとも、od や xxd によって「石」というグリフがこのバイト列によって表現されていると知ることができたのは、そもそもターミナルとかインプット・メソッドが「石」というグリフとそのバイト列を対応させてくれていたお陰であるから、上記の方法が問題の本質的な解決方法でないことは言うまでもない）

——目次——

HOME
├雑文
├写真
├壁紙
├馬鹿
├読書
├語学
│├英語
│└日本語
├電算
├地理
│└白地図
└ブログ