字符集和編碼方式：ASCII,Unicode和UTF-8, latin1,BIG5,GBK

參考：
字符集
字符集編碼詳解

一、 ASCII碼

我們知道，在計算機內(nèi)部，所有的信息最終都表示為一個二進制的字符串。每一個二進制位（bit）有0和1兩種狀態(tài)，因此八個二進制位就可以組合出256種狀態(tài)，這被稱為一個字節(jié)（byte）。也就是說，一個字節(jié)一共可以用來表示256種不同的狀態(tài)，每一個狀態(tài)對應一個符號，就是256個符號，從0000000到11111111。

上個世紀60年代，美國制定了一套字符編碼，對英語字符與二進制位之間的關系，做了統(tǒng)一規(guī)定。這被稱為ASCII碼，一直沿用至今。

• ASCII碼一共規(guī)定了128個字符的編碼，比如空格“SPACE”是32（二進制00100000），大寫的字母A是65（二進制01000001）。ASCII編碼采用單字節(jié)(8 Bit)存儲，實際數(shù)據(jù)存儲空間是7 Bit，這128個符號（包括32個不能打印出來的控制符號），只占用了一個字節(jié)的后面7位，最前面的1位統(tǒng)一規(guī)定為0。（最高位的1 Bit是奇偶校驗位）

• ASCII碼實現(xiàn)的是大小寫英文字母，阿拉伯數(shù)字，及常用的標點符、運算符、控制字符(換行、刪除等)和通信字符(文頭、確認等)與計算機編碼之間的對應。

• ASCII編碼對于英語國家足夠用了，但是卻無法表達非英語國家字符到計算機編碼之間的映射，如中文漢字、法語字母等。所以，出現(xiàn)了很多非ASCII編碼(但大多數(shù)都是兼容ASCII碼的)。

二、Unicode（字符集）

世界上存在著多種編碼方式，同一個二進制數(shù)字可以被解釋成不同的符號。因此，要想打開一個文本文件，就必須知道它的編碼方式，否則用錯誤的編碼方式解讀，就會出現(xiàn)亂碼。為什么電子郵件常常出現(xiàn)亂碼？就是因為發(fā)信人和收信人使用的編碼方式不一樣。

• 可以想象，如果有一種編碼，將世界上所有的符號都納入其中。每一個符號都給予一個獨一無二的編碼，那么亂碼問題就會消失。這就是Unicode，就像它的名字都表示的，這是一種所有符號的編碼。Unicode字符集編碼是Universal Multiple-Octet Coded Character Set 通用多八位編碼字符集的簡稱，支持現(xiàn)今世界各種不同語言的書面文本的交換、處理及顯示。

• Unicode是一種在計算機上使用的字符編碼。它為每種語言中的每個字符設定了統(tǒng)一并且唯一的二進制編碼，以滿足跨語言、跨平臺進行文本轉(zhuǎn)換、處理的要求。

• **Unicode當然是一個很大的集合，現(xiàn)在的規(guī)模可以容納100多萬個符號。**每個符號的編碼都不一樣，比如，U+0639表示阿拉伯字母Ain，U+0041表示英語的大寫字母A，U+4E25表示漢字“嚴”。

• 需要注意的是，Unicode只是一個符號集，它只規(guī)定了符號的二進制代碼，卻沒有規(guī)定這個二進制代碼應該如何存儲。

• 比如，漢字“嚴”的unicode是十六進制數(shù)4E25，也就是說這個符號的表示至少需要2個字節(jié),這里就有兩個嚴重的問題，第一個問題是，如何才能區(qū)別unicode和ascii？ 如果所有字符都按照最大存儲空間存儲，那必然會浪費很大的空間，比如所有字符都按照3字節(jié)存儲，但是英文字母只需要一個字節(jié)存儲就夠了，就等于說一個Unicode編碼的英文文檔是ASCII編碼文檔存儲空間的三倍。 所以，便有了可變長度編碼—UTF-8。

三、UTF-8（編碼方式）

• **UTF-8就是在互聯(lián)網(wǎng)上使用最廣的一種Unicode的實現(xiàn)方式。**其他實現(xiàn)方式還包括UTF-16和UTF-32，不過在互聯(lián)網(wǎng)上基本不用。

• UTF-8最大的一個特點，就是它是一種變長的編碼方式。它可以使用1~4個字節(jié)表示一個符號，根據(jù)不同的符號而變化字節(jié)長度。如ASCII編碼的內(nèi)容UTf-8中就是用一個字符存儲的。

• UTF-8是一種變長字節(jié)編碼方式。對于某一個字符的UTF-8編碼，如果只有一個字節(jié)則其最高二進制位為0；如果是多字節(jié)，其第一個字節(jié)從最高位開始，連續(xù)的二進制位值為1的個數(shù)決定了其編碼的位數(shù)，其余各字節(jié)均以10開頭。UTF-8最多可用到6個字節(jié)。

如表：
1字節(jié) 0xxxxxxx
2字節(jié) 110xxxxx 10xxxxxx
3字節(jié) 1110xxxx 10xxxxxx 10xxxxxx
4字節(jié) 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
5字節(jié) 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
6字節(jié) 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx Unicode

四、latin1

• Latin1是ISO-8859-1的別名，有些環(huán)境下寫作Latin-1。ISO-8859-1編碼是單字節(jié)編碼，向下兼容ASCII，其編碼范圍是0x00-0xFF，0x00-0x7F之間完全和ASCII一致，0x80-0x9F之間是控制字符，0xA0-0xFF之間是文字符號。
• ASCII編碼是一個7位的容器，ISO-8859-1編碼是一個8位的容器。
• 因為Latin1編碼范圍使用了單字節(jié)內(nèi)的所有空間，在支持Latin1編碼的系統(tǒng)中傳輸和存儲其他任何編碼的字節(jié)流都不會被拋棄。換言之，把其他任何編碼的字節(jié)流當作Latin1編碼看待都沒有問題。這是個很重要的特性，MySQL數(shù)據(jù)庫默認編碼是Latin1就是利用了這個特性。

五、BIG5

• 又稱大五碼或五大碼，1984年由臺灣財團法人信息工業(yè)策進會和五家軟件公司宏碁 (Acer)、神通 (MiTAC)、佳佳、零壹 (Zero One)、大眾 (FIC)創(chuàng)立，故稱大五碼。
• Big5碼的產(chǎn)生，是因為當時臺灣不同廠商各自推出不同的編碼，如倚天碼、IBM PS55、王安碼等，彼此不能兼容；另一方面，臺灣政府當時尚未推出官方的漢字編碼，而中國大陸的GB2312編碼亦未有收錄繁體中文字。
• Big5碼使用了雙字節(jié)儲存方法，以兩個字節(jié)來編碼一個字。第一個字節(jié)稱為“高位字節(jié)”，第二個字節(jié)稱為“低位字節(jié)”。高位字節(jié)的編碼范圍0xA1-0xF9，低位字節(jié)的編碼范圍0x40-0x7E及0xA1-0xFE。

六、GBK

• GBK編碼是在GB2312-80(也稱作GB2312，GB碼)標準基礎上的內(nèi)碼擴展規(guī)范，使用了雙字節(jié)編碼方案。

• 即不論中、英文字符均使用雙字節(jié)來表示，為了區(qū)分中文，將其最高位都設定成1。GBK包含全部中文字符，是國家編碼，通用性比UTF8差，不過UTF8占用的數(shù)據(jù)庫比GBK大

• GBK、GB2312等與UTF8之間都必須通過Unicode編碼才能相互轉(zhuǎn)換：

• GBK、GB2312<=>Unicode<=>UTF8

總結

以上是生活随笔為你收集整理的字符集和编码规范：ASCII,Unicode和UTF-8, latin1,BIG5,GBK的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。