最初的unicode編碼是固定長度的，16位，也就是2兩個字節代表一個字符，這樣一共可以表示65536個字符。顯然，這樣要表示各種語言中所有的字符是遠遠不夠的。Unicode4.0規范考慮到了這種情況，定義了一組附加字符編碼，附加字符編碼采用2個16位來表示，這樣最多可以定義1048576個附加字符，目前unicode4.0只定義了45960個附加字符。

Unicode只是一個編碼規范，目前實際實現的unicode編碼只要有三種：UTF-8,UCS-2和UTF-16，三種unicode字符集之間可以按照規范進行轉換。

UTF-8

UTF-8是一種8位的unicode字符集，編碼長度是可變的，并且是ASCII字符集的嚴格超集，也就是說ASCII中每個字符的編碼在UTF-8中是完全一樣的。UTF-8字符集中，一個字符可能是1個字節，2個字節，3個字節或者4個字節長。一般來說，歐洲的字母字符長度為1到2個字節，而亞洲的大部分字符則是3個字節，附加字符為4個字節長。

Unix平臺中普遍支持UTF-8字符集，HTML和大多數瀏覽器也支持UTF-8，而window和java則支持UCS-2。

UTF-8的主要優點：

• 對于歐洲字母字符需要較少的存儲空間。
• 容易從ASCII字符集向UTF-8遷移。

UCS-2

UCS-2是固定長度為16位的unicode字符集。每個字符都是2個字節，UCS-2只支持unicode3.0，所以不支持附加字符。

UCS-2的優點：

• 對于亞洲字符的存儲空間需求比UTF-8少，因為每個字符都是2個字節。
• 處理字符的速度比UTF-8更快，因為是固定長度編碼的。
• 對于windows和java的支持更好。

UTF-16

UTF-16也是一種16位編碼的字符集。實際上，UTF-16就是UCS-2加上附加字符的支持，也就是符合unicode4.0規范的UCS-2。所以UTF-16是UCS-2的嚴格超集。

UTF-16中的字符，要么是2個字節，要么是4個字節表示的。UTF-16主要在windows2000以上版本使用。

UTF-16相對UTF-8的優點，和UCS-2是一致的。

Oracle從7.0開始提供對Unicode的支持。Oracle個版本的unicode字符集支主要有：

AL32UTF8

一種UTF-8編碼的字符集，支持最新的unicode4.0標準。字符長度為1，2或者3個字節，附加字符則為4字節長。

UTF8

支持unicode3.0的UTF-8編碼方式。由于附加字符是在unicode3.1中提出的，UTF8不支持附加字符。但是unicode3.0已經為附加字符預留了編碼空間，所以即使在UTF8的數據庫中插入附加字符，也是可以的，只是數據庫會將該字符分隔成兩部分，需要占6個字符的長度。所以，如果需要支持附加字符，那么建議將數據庫的字符集切換為新的AL32UTF8。

UTF8可用于數據庫字符集，也可用于國家字符集。

UTFE

UTFE是基于EBCDIC平臺的unicode字符集，就像ASCII平臺上的UTF8一樣。不同的是，UTFE中，每個字符可能占1，2，3或者4個字節，而附加字符則需要2個4個字節，也就是8個字節來表示。

AL16UTF16

AL16UTF16是一種UTF-16編碼的unicode字符集，在Oracle中用于國家字符集。

AL24UTFFSS

該字符集只支持unicode1.1規范，在Oracle7.2~8i版本中使用，目前已經淘汰。

?

CString在Unicode下一個字節占16bit，在ascii下占8bit,改成char數組后在什么環境下都一樣的

?

編寫程序最好是：同一個源文件既可以在UNICODE下編譯，又可以在ANSI下編譯

工程--設置--C/C++--預處理器，可以定義標識符，如UNICODE,_UNICODE，標識是按ASCII編譯，還是按UNICODE編譯


#include <tchar.h>

char定義全部 改成TCHAR，TCHAR根據設置不同定義為char或者wchar
字符串加用TEXT宏，如TEXT("你好")，根據編譯器的設置不同，分別定義為ANSI或者UNICODE版本
字符串也大部分有其通用版本：

最大長度版比標準版多一個參數，表示緩沖區的長度
有v的其參數為參數列表指針，使用va_list、va_start和va_end宏

C提供的字符串函數： ASCII 寬字符 通用形式

1.可變參數：
標準版 sprintf swprintf _stprintf
最大長度版 _snprintf _snwprintf _sntprintf
WindowsNT版 wsprintfA wsprintfW wsprintf


2.數組的指針作參數：
???
標準版 vsprintf vswprintf _vstprintf
最大長度版 _vsnprintf _vsnwprintf _vsntprintf
WindowsNT版 wvsprintfA wvsprintfW wvsprintf




以下引用《Windows程序設計》
美國標準


早期計算機的字符碼是從Hollerith卡片（號稱不能被折迭、卷曲或毀傷）發展而來的，該卡片由Herman Hollerith發明并首次在1890年的美國人口普查中使用。6位字符碼系統BCDIC（Binary-Coded Decimal Interchange Code：二進制編碼十進制交換編碼）源自Hollerith代碼，在60年代逐步擴展為8位EBCDIC，并一直是IBM大型主機的標準，但沒使用在其它地方。

美國信息交換標準碼（ASCII：American Standard Code for Information Interchange）起始于50年代后期，最后完成于1967年。開發ASCII的過程中，在字符長度是6位、7位還是8位的問題上產生了很大的爭議。從可靠性的觀點來看不應使用替換字符，因此ASCII不能是6位編碼，但由于費用的原因也排除了8位版本的方案（當時每位的儲存空間成本仍很昂貴）。這樣，最終的字符碼就有26個小寫字母、26個大寫字母、10個數字、32個符號、33個句柄和一個空格，總共128個字符碼。ASCII現在記錄在ANSI X3.4-1986字符集－用于信息交換的7位美國國家標準碼（7-Bit ASCII：7-Bit American National Standard Code for Information Interchange），由美國國家標準協會（American National Standards Institute）發布。圖2-1中所示的ASCII字符碼與ANSI文件中的格式相似。

ASCII有許多優點。例如，26個字母代碼是連續的（在EBCDIC代碼中就不是這樣的）；大寫字母和小寫字母可通過改變一位數據而相互轉化；10個數字的代碼可從數值本身方便地得到（在BCDIC代碼中，字符「0」的編碼在字符「9」的后面！）

最棒的是，ASCII是一個非常可靠的標準。在鍵盤、視訊顯示卡、系統硬件、打印機、字體文件、操作系統和Internet上，其它標準都不如ASCII碼流行而且根深蒂固。


　



圖2-1 ASCII字符集


國際方面


ASCII的最大問題就是該縮寫的第一個字母。ASCII是一個真正的美國標準，所以它不能良好滿足其它講英語國家的需要。例如英國的英鎊符號（￡）在哪里？

英語使用拉丁（或羅馬）字母表。在使用拉丁語字母表的書寫語言中，英語中的單詞通常很少需要重音符號（或讀音符號）。即使那些傳統慣例加上讀音符號也無不當的英語單字，例如c鰋perate或者résumé，拼寫中沒有讀音符號也會被完全接受。

但在美國以南、以北，以及大西洋地區的許多國家，在語言中使用讀音符號很普遍。這些重音符號最初是為使拉丁字母表適合這些語言讀音不同的需要。在遠東或西歐的南部旅游，您會遇到根本不使用拉丁字母的語言，例如希臘語、希伯來語、阿拉伯語和俄語（使用斯拉夫字母表）。如果您向東走得更遠，就會發現中國象形漢字，日本和朝鮮也采用漢字系統。

ASCII的歷史開始于1967年，此后它主要致力于克服其自身限制以更適合于非美國英語的其它語言。例如，1967年，國際標準化組織（ISO：International Standards Organization）推薦一個ASCII的變種，代碼0x40、0x5B、0x5C、0x5D、0x7B、0x7C和0x7D「為國家使用保留」，而代碼0x5E、0x60和0x7E標為「當國內要求的特殊字符需要8、9或10個空間位置時，可用于其它圖形符號」。這顯然不是一個最佳的國際解決方案，因為這并不能保證一致性。但這卻顯示了人們如何想盡辦法為不同的語言來編碼的。

擴展ASCII


在小型計算機開發的初期，就已經嚴格地建立了8位字節。因此，如果使用一個字節來保存字符，則需要128個附加的字符來補充ASCII。1981年，當最初的IBM PC推出時，視訊卡的ROM中燒有一個提供256個字符的字符集，這也成為IBM標準的一個重要組成部分。

最初的IBM擴展字符集包括某些帶重音的字符和一個小寫希臘字母表（在數學符號中非常有用），還包括一些塊型和線狀圖形字符。附加的字符也被添加到ASCII控制字符的編碼位置，這是因為大多數控制字符都不是拿來顯示用的。

該IBM擴展字符集被燒進無數顯示卡和打印機的ROM中，并被許多應用程序用于修飾其文字模式的顯示方式。不過，該字符集并沒有為所有使用拉丁字母表的西歐語言提供足夠多的帶重音字符，而且也不適用于Windows。Windows不需要圖形字符，因為它有一個完全圖形化的系統。

在Windows 1.0（1985年11月發行）中，Microsoft沒有完全放棄IBM擴展字符集，但它已退居第二重要位置。因為遵循了ANSI草案和ISO標準，純Windows字符集被稱作「ANSI字符集」。ANSI草案和ISO標準最終成為ANSI/ISO 8859-1-1987，即「American National Standard for Information Processing-8-Bit Single-Byte Coded Graphic Character Sets-Part 1: Latin Alphabet No 1」，通常也簡寫為「Latin 1」。

在Windows 1.0的《Programmer's Reference》中印出了ANSI字符集的最初版本，如圖2-2所示。


　



圖2-2 Windows ANSI字符集（基于ANSI/ISO 8859-1）


空方框表示該位置未定義字符。這與ANSI/ISO 8859-1的最終定義一致。ANSI/ISO 8859-1僅顯示了圖形字符，而沒有控制字符，因此沒有定義DEL。此外，代碼0xA0定義為一個非斷開的空格（這意味著在編排格式時，該字符不用于斷開一行），代碼0xAD是一個軟連字符（表示除非在行尾斷開單詞時使用，否則不顯示）。此外，ANSI/ISO 8859-1將代碼0xD7定義為乘號（*），0xF7為除號（/）。Windows中的某些字體也定義了從0x80到0x9F的某些字符，但這些不是ANSI/ISO 8859-1標準的一部分。

MS-DOS 3.3（1987年4月發行）向IBM PC用戶引進了代碼頁（code page）的概念，Windows也使用此概念。代碼頁定義了字符的映像代碼。最初的IBM字符集被稱作代碼頁437，或者「MS-DOS Latin US）。代碼頁850就是「MS-DOS Latin 1」，它用附加的帶重音字母（但不是圖2-2所示的Latin 1 ISO/ANSI標準）代替了一些線形字符。其它代碼頁被其它語言定義。最低的128個代碼總是相同的；較高的128個代碼取決于定義代碼頁的語言。

在MS-DOS中，如果用戶為PC的鍵盤、顯示卡和打印機指定了一個代碼頁，然后在PC上創建、編輯和打印文件，一切都很正常，每件事都會保持一致。然而，如果用戶試圖與使用不同代碼頁的用戶交換文件，或者在機器上改變代碼頁，就會產生問題。字符碼與錯誤的字符相關聯。應用程序能夠將代碼頁信息與文件一起保存來試圖減少問題的產生，但該策略包括了某些在代碼頁間轉換的工作。

雖然代碼頁最初僅提供了不包括帶重音符號字母的附加拉丁字符集，但最終代碼頁的較高的128個字符還是包括了完整的非拉丁字母，例如希伯來語、希臘語和斯拉夫語。自然，如此多樣會導致代碼頁變得混亂；如果少數帶重音的字母未正確顯示，那么整個文字便會混亂不堪而不可閱讀。

代碼頁的擴展正是基于所有這些原因，但是還不夠。斯拉夫語的MS-DOS代碼頁855與斯拉夫語的Windows代碼頁1251以及斯拉夫語的Macintosh代碼頁10007不同。每個環境下的代碼頁都是對該環境所作的標準字符集修正。IBM OS/2也支援多種EBCDIC代碼頁。

但等一下，你會發現事情變得更糟糕。

雙字節字符集


迄今為止，我們已經看到了256個字符的字符集。但中國、日本和韓國的象形文字符號有大約21,000個。如何容納這些語言而仍保持和ASCII的某種兼容性呢？

解決方案（如果這個說法正確的話）是雙字節字符集（DBCS：double-byte character set）。DBCS從256代碼開始，就像ASCII一樣。與任何行為良好的代碼頁一樣，最初的128個代碼是ASCII。然而，較高的128個代碼中的某些總是跟隨著第二個字節。這兩個字節一起（稱作首字節和跟隨字節）定義一個字符，通常是一個復雜的象形文字。

雖然中文、日文和韓文共享一些相同的象形文字，但顯然這三種語言是不同的，而且經常是同一個象形文字在三種不同的語言中代表三件不同的事。Windows支持四個不同的雙字節字符集：代碼頁932（日文）、936（簡體中文）、949（韓語）和950（繁體漢字）。只有為這些國家（地區）生產的Windows版本才支持DBCS。

雙字符集問題并不是說字符由兩個字節代表。問題在于一些字符（特別是ASCII字符）由1個字節表示。這會引起附加的程序設計問題。例如，字符串中的字符數不能由字符串的字節數決定。必須剖析字符串來決定其長度，而且必須檢查每個字節以確定它是否為雙字節字符的首字節。如果有一個指向DBCS字符串中間的指針，那么該字符串前一個字符的地址是什么呢？慣用的解決方案是從開始的指針分析該字符串！

Unicode解決方案


我們面臨的基本問題是世界上的書寫語言不能簡單地用256個8位代碼表示。以前的解決方案包括代碼頁和DBCS已被證明是不能滿足需要的，而且也是笨拙的。那什么才是真正的解決方案呢？

身為程序寫作者，我們經歷過這類問題。如果事情太多，用8位數值已經不能表示，那么我們就試更寬的值，例如16位值。而且這很有趣的，正是Unicode被制定的原因。與混亂的256個字符代碼映像，以及含有一些1字節代碼和一些2字節代碼的雙字節字符集不同，Unicode是統一的16位系統，這樣就允許表示65,536個字符。這對表示所有字符及世界上使用象形文字的語言，包括一系列的數學、符號和貨幣單位符號的集合來說是充裕的。

明白Unicode和DBCS之間的區別很重要。Unicode使用（特別在C程序設計語言環境里）「寬字符集」。「Unicode中的每個字符都是16位寬而不是8位寬。」在Unicode中，沒有單單使用8位數值的意義存在。相比之下，在雙字節字符集中我們仍然處理8位數值。有些字節自身定義字符，而某些字節則顯示需要和另一個字節共同定義一個字符。

處理DBCS字符串非常雜亂，但是處理Unicode文字則像處理有秩序的文字。您也許會高興地知道前128個Unicode字符（16位代碼從0x0000到0x007F）就是ASCII字符，而接下來的128個Unicode字符（代碼從0x0080到0x00FF）是ISO 8859-1對ASCII的擴展。Unicode中不同部分的字符都同樣基于現有的標準。這是為了便于轉換。希臘字母表使用從0x0370到0x03FF的代碼，斯拉夫語使用從0x0400到0x04FF的代碼，美國使用從0x0530到0x058F的代碼，希伯來語使用從0x0590到0x05FF的代碼。中國、日本和韓國的象形文字（總稱為CJK）占用了從0x3000到0x9FFF的代碼。

Unicode的最大好處是這里只有一個字符集，沒有一點含糊。Unicode實際上是個人計算機行業中幾乎每個重要公司共同合作的結果，并且它與ISO 10646-1標準中的代碼是一一對應的。Unicode的重要參考文獻是《The Unicode Standard，Version 2.0》（Addison-Wesley出版社，1996年）。這是一本特別的書，它以其它文件少有的方式顯示了世界上書寫語言的豐富性和多樣性。此外，該書還提供了開發Unicode的基本原理和細節。

Unicode有缺點嗎？當然有。Unicode字符串占用的內存是ASCII字符串的兩倍。（然而壓縮文件有助于極大地減少文件所占的磁盤空間。）但也許最糟的缺點是：人們相對來說還不習慣使用Unicode。身為程序寫作者，這就是我們的工作。

寬字符和 C


對C程序寫作者來說，16位字符的想法的確讓人掃興。一個char和一個字節同寬是最不能確定的事情之一。沒幾個程序寫作者清楚ANSI/ISO 9899-1990，這是「美國國家標準程序設計語言－C」（也稱作「ANSI C」）通過一個稱作「寬字符」的概念來支持用多個字節代表一字符的字符集。這些寬字符與常用的字符完美地共存。

ANSI C也支持多字節字符集，例如中文、日文和韓文版本Windows支持的字符集。然而，這些多字節字符集被當成單字節構成的字符串看待，只不過其中一些字符改變了后續字符的含義而已。多字節字符集主要影響C語言程序執行時期鏈接庫函數。相比之下，寬字符比正常字符寬，而且會引起一些編譯問題。

寬字符不需要是Unicode。Unicode是一種可能的寬字符集。然而，因為本書的焦點是Windows而不是C執行的理論，所以我將把寬字符和Unicode作為同義語。

Char數據型態


假定我們都非常熟悉在C程序中使用char數據型態來定義和儲存字符跟字符串。但為了便于理解C如何處理寬字符，讓我們先回顧一下可能在Win32程序中出現的標準字符定義。

下面的語句定義并初始化了一個只包含一個字符的變量：

char c = 'A' ;
???????
變量c需要1個字節來保存，并將用十六進制數0x41初始化，這是字母A的ASCII代碼。

您可以像這樣定義一個指向字符串的指針：

char * p ;
???????
因為Windows是一個32位操作系統，所以指針變量p需要用4個字節保存。您還可初始化一個指向字符串的指針：

char * p = "Hello!" ;
???????
像前面一樣，變量p也需要用4個字節保存。該字符串保存在靜態內存中并占用7個字節－6個字節保存字符串，另1個字節保存終止符號0。

您還可以像這樣定義字符數組：

char a[10] ;
???????
在這種情況下，編譯器為該數組保留了10個字節的儲存空間。表達式sizeof（a）將返回10。如果數組是整體變量（即在所有函數外定義），您可使用像下面的語句來初始化一個字符數組：

char a[] = "Hello!" ;
???????
如果您將該數組定義為一個函數的區域變量，則必須將它定義為一個static變量，如下：

static char a[] = "Hello!" ;
???????
無論哪種情況，字符串都儲存在靜態程序內存中，并在末尾添加0，這樣就需要7個字節的儲存空間。

寬字符


Unicode或者寬字符都沒有改變char數據型態在C中的含義。char繼續表示1個字節的儲存空間，sizeof （char）繼續返回1。理論上，C中1個字節可比8位長，但對我們大多數人來說，1個字節（也就是1個char）是8位寬。

C中的寬字符基于wchar_t數據型態，它在幾個表頭文件包括WCHAR.H中都有定義，像這樣：

typedef unsigned short wchar_t ;
???????
因此，wchar_t數據型態與無符號短整數型態相同，都是16位寬。

要定義包含一個寬字符的變量，可使用下面的語句：

wchar_t c = 'A' ;
???????
變量c是一個雙字節值0x0041，是Unicode表示的字母A。（然而，因為Intel微處理器從最小的字節開始儲存多字節數值，該字節實際上是以0x41、0x00的順序保存在內存中。如果檢查Unicode文字的計算機儲存應注意這一點。）

您還可定義指向寬字符串的指針：

wchar_t * p = L"Hello!" ;
???????
注意緊接在第一個引號前面的大寫字母L（代表「long」）。這將告訴編譯器該字符串按寬字符保存－即每個字符占用2個字節。通常，指針變量p要占用4個字節，而字符串變量需要14個字節－每個字符需要2個字節，末尾的0還需要2個字節。

同樣，您還可以用下面的語句定義寬字符數組：

static wchar_t a[] = L"Hello!" ;
???????
該字符串也需要14個字節的儲存空間，sizeof (a) 將返回14。索引數組a可得到單獨的字符。a[1] 的值是寬字符「e」，或者0x0065。

雖然看上去更像一個印刷符號，但第一個引號前面的L非常重要，并且在兩個符號之間必須沒有空格。只有帶有L，編譯器才知道您需要將字符串存為每個字符2字節。稍后，當我們看到使用寬字符串而不是變量定義時，您還會遇到第一個引號前面的L。幸運的是，如果忘記了包含L，C編譯器通常會給提出警告或錯誤信息。

您還可在單個字符文字前面使用L前綴，來表示它們應解釋為寬字符。如下所示：

wchar_t c = L'A' ;
???????
但通常這是不必要的，C編譯器會對該字符進行擴充，使它成為寬字符。

總結

以上是生活随笔為你收集整理的关于unicode编码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。