[Charset]UTF-8, UTF-16, UTF-16LE, UTF-16BE的區別?

最近遇到的麻煩事?
charset里的問題, 一般我們都用unicode來作為統一編碼, 但unicode也有多種表現形式?

首先, 我們說的unicode, 其實就是utf-16, 但最通用的卻是utf-8,?
原因: 我猜大概是英文占的比例比較大, 這樣utf-8的存儲優勢比較明顯, 因為utf-16是固定16位的(雙字節), 而utf-8則是看情況而定, 即可變長度, 常規的128個ASCII只需要8位(單字節), 而漢字需要24位?

UTF-16, UTF-16LE, UTF-16BE, 及其區別BOM?
同樣都是unicode, 為什么要搞3種這么麻煩??
先說UTF-16BE (big endian), 比較好理解的, 俗稱大頭?
比如說char 'a', ascii為?
0x61, 那么它的utf-8, 則為 [0x61], 但utf-16是16位的, 所以為[0x00, 0x61]?
再說UTF-16LE(little endian), 俗稱小頭, 這個是比較常用的?
還是char 'a', 它的代碼卻反過來: [0x61, 0x00], 據說是為了提高速度而迎合CPU的胃口, CPU就是這到倒著吃數據的, 這里面有匯編的知識, 不多說?
然后說UTF-16, 要從代碼里自動判斷一個文件到底是UTF-16LE還是BE, 對于單純的英文字符來說還比較好辦, 但要有特殊字符, 圖形符號, 漢字, 法文, 俄語, 火星語之類的話, 相信各位都很頭痛吧, 所以, unicode組織引入了BOM的概念, 即byte order mark, 顧名思義, 就是表名這個文件到底是LE還是BE的,?
其方法就是, 在UTF-16文件的頭2個字節里做個標記: LE [0xFF, 0xFE], BE [0xFE, 0xFF]?

理解了這個后, 在java里遇到utf-16還是會遇到麻煩, 因為要在文件里面單獨判斷頭2個再字節是很不流暢的?

小結:?

Java代碼??

InputStreamReader?reader=new?InputStreamReader(fin,?charset)??

1. 如果這個UTF-16文件里帶有BOM的話, charset就用"UTF-16", java會自動根據BOM判斷LE還是BE, 如果你在這里指定了"UTF-16LE"或"UTF-16BE"的話, 猜錯了會生成亂七八糟的文件, 哪怕猜對了, java也會把頭2個字節當成文本輸出給你而不會略過去, 因為[FF FE]或[FE FF]這2個代碼沒有內容, 所以, windows會用"?"代替給你?
2. 如果這個UTF-16文件里不帶BOM的話, 則charset就要用"UTF-16LE"或"UTF-16BE"來指定LE還是BE的編碼方式


另外, UTF-8也有BOM的, [0xEF, 0xBB, 0xBF], 但可有可無, 但用windows的notepad另存為時會自動幫你加上這個, 而很多非windows平臺的UTF8文件又沒有這個BOM, 真是難為我們這些程序員啊?

錯誤的例子?
1. 文件A, UTF16格式, 帶BOM LE,?
InputStreamReader reader=new InputStreamReader(fin, "utf-16le")?
會多輸出一個"?"在第一個字節, 原因: java沒有把頭2位當成BOM?

2. 文件A, UTF16格式, 帶BOM LE,?
InputStreamReader reader=new InputStreamReader(fin, "utf-16be")?
會出亂碼, 原因: 字節的高低位弄反了, 'a' 在文件里 [0x61, 0x00], 但java以為'a'應該是[0x00 0x61]?

3. 文件A, UTF16格式, 帶BOM BE,?
InputStreamReader reader=new InputStreamReader(fin, "utf-16le")?
會出亂碼, 原因: 字節的高低位弄反了, 'a' 在文件里 [0x00, 0x61], 但java以為'a'應該是[0x61 0x00]?

4. 文件A, UTF16格式, 帶BOM BE,?
InputStreamReader reader=new InputStreamReader(fin, "utf-16be")?
會多輸出一個"?"在第一個字節, 原因: java沒有把頭2位當成BOM?

5. 文件A, UTF16格式, LE 不帶BOM,?
InputStreamReader reader=new InputStreamReader(fin, "utf-16")?
會出亂碼, 因為utf-16對于java來說, 默認為be(1.6JDK, 以后的說不準)?
但windows的notepad打開正常, 因為notepad默認為le, - -#?

6. 文件A, UTF16格式, BE 不帶BOM,?
InputStreamReader reader=new InputStreamReader(fin, "utf-16")?
恭喜你, 蒙對了?
但winodws的notepad打開時, 每個字符中間都多了一個" ", 因為notepad把它當成ASNI了?

在windows下輸出unicode文件?
通過java出來unicode文件, 也容易混淆?

Java代碼??

FileOutputStream?fout=new?FileOutputStream(file);??

OutputStreamWriter?writer=new?OutputStreamWriter(fout,?charset);??

1. charset為"UTF-16"時, java會默認添加BOM [0xFE, 0xFF], 并以BE的格式編寫byte?
2. charset為"UTF-16BE"時, java不會添加BOM, 但編碼方式為 BE?
3. charset為"UTF-16LE"時, java不會添加BOM, 但編碼方式為 LE?

以上通過 test.getByte("utf-16"), test.getByte("utf-16be"), test.getByte("utf-16le") 可以驗證?

而windows的notepad默認的unicode為 LE, 并帶BOM,?
所以, 推薦輸出 UTF-16LE, 并人為添加BOM, 即:?

Java代碼??

byte[]?bom={-1,?-2};????//FF?FE,?java的byte用的是補碼,?驗證:?b=127,?b+=1,?而b=-128??

fout.write(bom); ?

轉載于:https://www.cnblogs.com/xubin0523/archive/2012/10/19/2730913.html

總結

以上是生活随笔為你收集整理的[Charset]UTF-8, UTF-16, UTF-16LE, UTF-16BE的区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。