一 、背景知識
? 1、計算機中所有的數(shù)據(jù)都用01串來表示，至于一串01到底代表什么是由軟件來設(shè)定的。
??? 比如：01111101111101010111110111110101??? 可以理解為一條指令，也可以理解為4個字節(jié)的char字符，具體是什么要看這個數(shù)據(jù)是在代碼段還是數(shù)據(jù)段。
? 2、字符是人看到的顯示效果（實際上人看到的是字符對應(yīng)glyph渲染到屏幕上的效果）
? 3、字符有內(nèi)部的存儲格式（如'中' 在內(nèi)存中存為 d6d0(gb2312編碼)）,這種編碼叫內(nèi)碼，本質(zhì)上是將人理解的字符，映射為二進制01串
? 4、字符需要在系統(tǒng)間交換，這時同樣是'中'在簡體中文版OS和繁體中文版OS中內(nèi)部表示的格式不同，為了進行數(shù)據(jù)交換，需要能夠標(biāo)記一個字符，這種編碼叫交換碼，典型的如 unicode、CNS 11643、CCCII
? 5、windows NT一個字符顯示的過程：讀入內(nèi)碼---轉(zhuǎn)為unicode(wide char)---找到字體中對應(yīng)的字模（glyph）---將此glyph（位圖）寫到顯存---調(diào)用顯卡刷到顯示器上

二、基本概念
? 1、計算機一開始是在英語國家中產(chǎn)生的，所以計算機的系統(tǒng)一開始都會做一件事：對拉丁字母進行編碼，加上一些控制符號、數(shù)學(xué)符號等，這便形成了ASCII編碼。
? 2、像英語這樣的拼音文字很容易編碼，因為所有的詞是由26個字母組合而成的，只要編碼26個字母，就可以輸入所有的單詞。但是像中文這樣的象形文字，則只能針對每個字分別進行編碼（因為每個字的字形都不一樣），這樣舊有的編碼是沒法滿足中國人的要求的（你總不能要求只有懂英語的人才能用電腦吧！）， 所以老一代的中國程序員就要為中文進行編碼，其中典型的代表是gb2312（簡體）、big5（繁體），所謂的編碼就是確定中文的每個字在內(nèi)存中對應(yīng)的01串是什么，比如'國'在內(nèi)存中用 b9fa（gb2312編碼）表示。
? 3、因為每個國家的文字是不同的，編碼的方式也是不同的，比如b9fa在大陸代表 '國', 在日本就代表特定的日語字符了，那么怎么樣進行信息交換呢？比如我在中國寫了一份源代碼，現(xiàn)在要拿到日本編譯，那么不好意思，編譯不了，因為這里的語義已經(jīng)改變了。為了能夠進行信息的交換，最簡單的辦法就是為全世界所有的語言的所有的字符都指定一個唯一的編碼，這個就是unicode編碼
? 4、unicode是統(tǒng)一標(biāo)記，但是unicode有很多種內(nèi)部存儲的格式，比如unicode為4e2d的字符在內(nèi)存中可以用3、4或5個字節(jié)來表示，這種內(nèi)部存儲的表示形式叫內(nèi)碼，典型的實現(xiàn)有utf-8(unix標(biāo)準(zhǔn))、utf-16（windows標(biāo)準(zhǔn)）、utf-32等
? 5、在簡體中文windows下使用文本編輯器創(chuàng)建的文本文件，使用的編碼方式是gb2312，即編碼方式是根據(jù)locale確定的默認的編碼方式。如果需要和類unix系統(tǒng)下的人進行協(xié)作開發(fā)時就要注意將編碼方式改為utf-8

三、編碼轉(zhuǎn)換
? 2種內(nèi)碼進行轉(zhuǎn)換，需要有個媒介------unicode，一個轉(zhuǎn)換編碼的例子：(windows平臺) uft8（multibyte）------unicode（wideChar）-----gb2312（multibyte）
int UTF8ToGB(const char* str,char *out)
{
? WCHAR *strSrc;
? TCHAR *szRes;
? int len;

? //獲得臨時變量的大小
? // 后4個參數(shù)是輸入的指針，長度，輸出的指針，長度，這里第4個參數(shù)是-1，返回unicode字符數(shù)
? int i = MultiByteToWideChar(CP_UTF8, 0, str, -1, NULL, 0);
? strSrc = new WCHAR[i+1];// unicode 字符數(shù)組
? MultiByteToWideChar(CP_UTF8, 0, str, -1, strSrc, i);

? //獲得臨時變量的大小
? i = WideCharToMultiByte(CP_ACP, 0, strSrc, -1, NULL, 0, NULL, NULL);
? szRes = new TCHAR[i+1];// 內(nèi)碼字符的長度
? WideCharToMultiByte(CP_ACP, 0, strSrc, -1, szRes, i, NULL, NULL);

? len = (i+1)*sizeof(CHAR);
? memcpy(out,szRes,len);
? out[len+1] ='\0';

? delete []strSrc;
? delete []szRes;

? return len;
}

四、編程語言的支持
1、java? java內(nèi)置對unicode的支持，即 new String(...) 時，使用的是unicode編碼格式，所有字符串的操作也是針對unicode，要返回指定編碼的字節(jié)數(shù)組使用getBytes
例子：

2、c、c++
char VS wchar? string VS wstring

例子： vc2005測試
// testString.cpp : Defines the entry point for the console application.
//

#include "stdafx.h"
#include <cstring>
#include <iostream>
#include <string>
#include <locale>

int main(int argc, char* argv[])
{
? const char text[] = "中\(zhòng)u534e人民共和國，龢籦" ;??????????????????? // 這個里面存的是字符串的gb2312內(nèi)碼,但是可以用\u（unicode）來指定字符
? const wchar_t wtext[] = L"中\(zhòng)u534e人民共和國，龢籦" ;?????????????? // 這個里面存的是unicode

? std::string s1("中\(zhòng)u534e人民共和國，龢籦" );
? std::wstring s2(L"中\(zhòng)u534e人民共和國，龢籦");

? std::cout << "sizeof(char)??? : " << sizeof(char) << std::endl ;
? std::cout << "text??????????? : " << text << std::endl ;
? std::cout << "sizeof(text)??? : " << sizeof(text) << std::endl ; // 算的是字節(jié)的數(shù)量
? std::cout << "strlen(text)??? : " << strlen(text) << std::endl ;

? std::cout << "text(binary)??? :" ;

? for(size_t i = 0, iMax = strlen(text); i < iMax; ++i)
? {
??? std::cout << " " <<std::hex<< static_cast<unsigned int>(static_cast<unsigned char>(text[i])) ;
? }

? std::cout << std::endl << std::endl ;

? std::cout << "sizeof(wchar_t) : " << sizeof(wchar_t) << std::endl ;
? std::cout << "wtext?????????? : " << wtext << std::endl ;
? std::cout << "wtext?????????? : UNABLE TO CONVERT NATIVELY." << std::endl ;
? std::cout << "sizeof(wtext)?? : " << sizeof(wtext) << std::endl ;
? std::cout << "wcslen(wtext)?? : " << wcslen(wtext) << std::endl ;??????????????????? // 這個函數(shù)可以正確的返回字符的個數(shù)

? std::cout << "wtext(binary)?? :" ;

? for(size_t i = 0, iMax = wcslen(wtext); i < iMax; ++i)
? {
??? std::cout << " " <<std::hex<< static_cast<unsigned int>(static_cast<unsigned short>(wtext[i])) ;
? }

? std::cout << std::endl << std::endl ;

? std::cout << "sizeof(s1) : " << s1.length() << std::endl ;
? std::cout << "s1?????????? : " << s1 << std::endl ;

? std::cout << "s1(binary)?? :" ;
? const char *temp = s1.c_str();

? for(size_t i = 0 ; i < s1.length(); ++i)
? {
??? std::cout << " " <<std::hex<< static_cast<unsigned int>(static_cast<unsigned short>(temp[i])) ;// 二進制的數(shù)據(jù)與char的類似，只是每個的前面都加上了ff
? }

std::cout << std::endl << std::endl ;
std::locale loc( "chs" );
std::wcout.imbue( loc ); // 設(shè)定本地的編碼
std::wcout << L"中國" << std::endl;

? std::wcout << "sizeof(s2) : " << s2.length() << std::endl ;
? std::wcout << "s2?????????? : " << s2 << std::endl ;

? std::wcout << "s2(binary)?? :" ;
? const wchar_t *temp1 = s2.c_str();

? for(size_t i = 0 ; i < s2.length(); ++i)
? {
??? std::wcout << " " <<std::hex<< static_cast<unsigned int>(static_cast<unsigned short>(temp1[i])) ;// 這個和上面的unicode的數(shù)據(jù)是一致的
? }
? return 0;
}

輸出：
sizeof(char)??? : 1
text??????????? : 中華人民共和國，龢籦
sizeof(text)??? : 21
strlen(text)??? : 20
text(binary)??? : d6 d0 bb aa c8 cb c3 f1 b9 b2 ba cd b9 fa a3 ac fd 98 bb 62

sizeof(wchar_t) : 2
wtext?????????? : 0013FF1C
wtext?????????? : UNABLE TO CONVERT NATIVELY.
sizeof(wtext)?? : 16
wcslen(wtext)?? : a
wtext(binary)?? : 4e2d 534e 4eba 6c11 5171 548c 56fd ff0c 9fa2 7c66

sizeof(s1) : 14
s1?????????? : 中華人民共和國，龢籦
s1(binary)?? : ffd6 ffd0 ffbb ffaa ffc8 ffcb ffc3 fff1 ffb9 ffb2 ffba ffcd ffb9
fffa ffa3 ffac fffd ff98 ffbb 62

中國
sizeof(s2) : 10
s2?????????? : 中華人民共和國，龢籦
s2(binary)?? : 4,e2d 5,34e 4,eba 6,c11 5,171 5,48c 5,6fd f,f0c 9,fa2 7,c66

五 其他
Unicode編碼表到GB2312編碼表映射表

總結(jié)

以上是生活随笔為你收集整理的常见电脑字符编码总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。