unicode

計算機的世界是二進制的世界，無論文字音頻傳輸存儲之時都要落實到二進制上。而起源于西方的計算機技術自然深根于他們的文化，于是最初的ascii碼基本只是西方的文字編碼集。隨著計算機的普及，各個國家各個民族基本都為自己的文字創立了字符集。多而雜的規則為數據的傳輸交換帶來巨大困難。是時候要統一字符集了。

unicode應運而生。unicode旨在為所有字符統一編碼。

unicode的UCS2標準用兩個字集，16位來表示字符，因此它的容量是2¹⁶個。

uft-8

在大家都使用unicode的時候，英文字母和符號由原本ascii下的一個字節變成兩個字節，這無疑是一種浪費。于是UTF(unicode transfer format)這種變長編碼又出現了，它專門為傳輸而設計。unicode相當一個map，為每個字符賦一個編碼。而utf則對這些編碼再次編碼，以便于傳輸存儲。utf-8表示8位的編碼格式，還有uft-16,utf-32。

unicode與uft-8之間的轉換關系

unicode編碼為utf-8時規則如下：

• 對于0-127之間的編碼，以一個字節表示，即其二進制編碼。
• 128及以上，如果編碼后的uft-8是n個字節，則第一個字節的編碼起始為連續的n個1和一個0，后續字節皆以10開頭，剩余部分才是存放真實值的地方，這里說的n個1+0 和 10就像是來描述協議的暗號一樣。

unicode 編碼范圍(binary)uft-8(binary)

0~0111 1111	0xxx xxxx
0000 1000 0000 ~ 0111 1111 1111	110x xxxx 10xx xxxx
0000 1000 0000 0000 ~ 0111 1111 1111 1111	1110 xxxx 10xx xxx 10xx xxxx

utf-8以八個字節為一個單位編碼，其中字節符合 ^1{2,}0 規則的是開始字節，一個開始字節后面跟的隨1-6個輔助字節，每個輔助字節以10開頭，所以可以承載的信息是6位。那么我們可以輕易計算出utf-8各個變長編碼組的容量范圍：

一個n個字集編碼的 utf-8 的有效位是 (8-n-1)+n*6,得出上限值M。
2.用1的方式計算出 n-1 個字集編碼表達的上限N。

所以n個utf-8字節編碼表達的unicode值范圍是，N+1~M。經計算：

utf-8 字節數(dec)編碼值范圍(dec)

1	0-127
2	128-2047
3	2048-65535
4	65536-2097151

舉一個例子來描述這種轉換規則：

漢字“中”的unicode編碼十六進制數為：4e2d，十進制為：20013， 二進制為：0100 1110 0010 1101，區間在2048-65535，所以是三個字節。
所以將其二進制填充進 1110 xxxx 10xx xxx 10xx xxxx的x中，得出的結果是1110 0100，1011 1000，1010 1101。得出utf-8十六進制為 e4 b8 ad。

javascript中的unicode和utf-8

js中escape是對字符進行unicode編碼，而encodeURI和encodeURIComponent是utf-8編碼。

轉載于:https://www.cnblogs.com/magma/p/5769929.html

總結

以上是生活随笔為你收集整理的unicode 与 utf-8的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。