一、charAt 與 codePonitAt

我們知道 Java 內部使用的是 utf-16 作為它的 char、String 的字符編碼方式，這里我們叫它內部字符集。而 utf-16 是變長編碼，一個字符的編碼被稱為一個 code point，它可能是 16 位 —— 一個 code unit，也可能是 32 位 —— 兩個 code unit。

Java 的 char 類型長度為二字節，它對應的是 code unit。換句話說，一個字符的編碼，可能需要用兩個 char 來存儲。

作為一個輸入法愛好者，我偶爾會編程處理一些生僻字。其中有些生僻字大概是后來才加入 unicode 字符集里的，直接用 charAt 方法讀取它們，會得到一堆問號。原因很清楚 —— 因為這些字符(eg. "𫖯")是用兩個 code unit，也就是兩個 char 表示的。charAt 找不到對應的編碼，就會將這些 char 輸出成「?」。

//示例

public class Test {

public static void main(String[] args){

String s = "𫖯";

System.out.println(s.length()); //輸出：2

System.out.println(s.charAt(0)); //輸出：?

System.out.println(s.charAt(1)); //輸出：?

}

}

因此，涉及到中文，一定要使用 String 而不是 char，并且使用 codePoint 相關方法來處理它。否則的話，如果用戶使用了生僻字，很可能就會得到不想要的結果。

下面是一個使用 codePoint 遍歷一個字符串的示例，需要注意的是，codePoint 是 int 類型的(因為 char 不足以保存一個 codepoint)，因此需要做些額外的轉換：

public class Test {

public static void main(String[] args){

String s = "趙孟𫖯孟";

for (int i = 0; i < s.codePointCount(0,s.length()); i++) {

System.out.println(

new String(Character.toChars(s.codePointAt(i))));

// 這里的軌跡是：類型為 int 的 codepoint -> char數組 -> String

}

}

}

/* 結果：

趙

孟

𫖯

?

*/

問題來了，「𫖯」這個字是正常地輸出了，可最后的「孟」卻變成了黑人問號。。

原因就在于 codepointAt(i) 是以 char 偏移量索引的。。所以只是這樣輸出也是不行的。。

正確的遍歷姿勢是這樣的

final int length = s.length();

for (int offset = 0; offset < length; ) {

final int codepoint = s.codePointAt(offset);

System.out.println(new String(Character.toChars(codepoint)));

offset += Character.charCount(codepoint);

}

這個代碼保持了一個變量offset, 來指示下一個 codepoint 的偏移量。最后那一句在處理完畢后，更新這個偏移量

而 Java 8 添加了?CharSequence#codePoints，?該方法返回一個?IntStream，該流包含所有的 codepoint。可以直接通過 forEach 方法來遍歷他。

string.codePoints().forEach(

c -> System.out.println(new String(Character.toChars(c)));

);

或者用循環

for(int c : string.codePoints().toArray()){

System.out.println(new String(Character.toChars(c)));

}

二、內部字符集與輸出字符集(內碼與外碼)

現在我們知道了中文字符在 java 內部可能會保存成兩個 char，可還有個問題：如果我把一個字符輸出到某個流，它還會是兩個 char，也就是 4 字節么？

回想一下，Java io 有字符流，字符流使用 jvm 默認的字符集輸出，而若要指定字符集，可使用轉換流。

因此，一個中文字符，在內部是使用 utf-16 表示，可輸出就不一定了。

來看個示例：

import java.io.UnsupportedEncodingException;

public class Test {

public static void main(String[] args)

throws UnsupportedEncodingException {

String s = "中"; //𫖯

System.out.println(s + ": chars: " + s.length());

System.out.println(s + ": utf-8 bytes:" + s.getBytes("utf-8").length);

System.out.println(s + ": unicode bytes: " + s.getBytes("unicode").length);

System.out.println(s + ": utf-16 bytes: " + s.getBytes("utf-16").length);

}

}

輸出為：

中: chars: 1 // 2 bytes

中: utf-8 bytes:3

中: unicode bytes: 4

中: utf-16 bytes: 4

𫖯: chars: 2 // 4 bytes

𫖯: utf-8 bytes:4

𫖯: unicode bytes: 6

𫖯: utf-16 bytes: 6

一個「中」字，內部存儲只用了一個 char，也就是 2 個字節。可轉換成 utf-8 編碼后，卻用了 3 個字節。怎么會不一樣呢，是不是程序出了問題？

當然不是程序的問題，這是內碼(utf-16)轉換成外碼(utf-8)，字符集發生了改變，所使用的字節數自然也可能會改變。(尤其這倆字符集還都是變長編碼)

三、utf-16、utf-16le、utf-16be、bom

不知道在剛剛的示例中，你有沒有發現問題：同是 utf-16，為何「中」和「𫖯」的 s.getBytes("utf-16").length 比 s.length 要多個 2？開頭就說了 String 也是 utf-16 編碼的，這兩個數應該相等才對不是嗎？

原因在于，utf-16 以 16 位為單位表示數據，而計算機是以字節為基本單位來存儲/讀取數據的。因此一個 utf-16 的 code unit 會被存儲為兩個字節，需要明確指明這兩個字節的先后順序，計算機才能正確地找出它對應的字符。而 utf-16 本身并沒有指定這些，所以它會在字符串開頭插入一個兩字節的數據，來存儲這些信息(大端還是小端)。這兩個字節被稱為BOM(Byte Order Mark)。剛剛發現的多出的兩字節就是這么來的。

如果你指定編碼為 utf-16le 或 utf-16be，就不會有這個 BOM 的存在了。這時就需要你自己記住該文件的大小端。。

四、更多：utf-8 unicode

在 windows 中，utf-8 格式的文件也可能會帶有 BOM，但 utf-8 的基本單位本來就是一個字節，因此它不需要 BOM 來表示 所謂大小端。這個 BOM 一般是用來表示該文件是一個 utf-8 文件。不過 linux 系統則對這種帶 BOM 的文件不太友好。不般不建議加。。(雖如此說，上面的測試中，utf-8 的數據應該是沒加 bom 的結果)

unicode字符集UCS(Unicode Character Set) 就是一張包含全世界所有文字的一個編碼表，但是 UCS 太占內存了，所以實際使用基本都是使用它的其他變體。一般來說，指定字符集時使用的 unicode 基本等同于 utf-16.(所以你會發現第二節演示的小程序里，utf-16 和 unicode 得出的結果是一樣的。)

四、與 Python3 對比

python3 在字符串表示上，做了大刀闊斧的改革，python3 的 len(str) 得到的就是 unicode 字符數，因此程序員完全不需要去考慮字符的底層表示的問題。(實際上其內部表示也可能隨著更新而變化)帶 BOM 的 utf-8 也可通過指定字符集為 utf-8-sig 解決。若需要做字符集層面處理，需要 encode 為特定字符集的 byte 類型。

Encoding pertains mostly to files and transfers. Once

loaded into a Python string, text in memory has no notion of an “encoding,” and is

simply a sequence of Unicode characters (a.k.a. code points) stored generically.

-- Learning Python 5th

P.S. Python2 存在和 Java 相同的問題

參考

本文允許轉載，但要求附上源鏈接：Java 中文編碼分析

總結

以上是生活随笔為你收集整理的java 内部编码_Java 中文编码分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。