HanLP二元核心词典详细解析
2019獨角獸企業重金招聘Python工程師標準>>>
本文分析：HanLP版本1.5.3中二元核心詞典的存儲與查找。當詞典文件沒有被緩存時，會從文本文件CoreNatureDictionary.ngram.txt中解析出來存儲到TreeMap中，然后構造start和pair數組，并基于這兩個數組實現詞共現頻率的二分查找。當已經有緩存bin文件時，那直接讀取構建start和pair數組，速度超快。
源碼實現
二元核心詞典的加載
二元核心詞典在文件：CoreNatureDictionary.ngram.txt，約有46.3 MB。程序啟動時先嘗試加載CoreNatureDictionary.ngram.txt.table.bin 緩存文件，大約22.9 MB。這個緩存文件是序列化保存起來的。
?ObjectInputStream in = new ObjectInputStream(IOUtil.newInputStream(path));
?start = (int[]) in.readObject();
?pair = (int[]) in.readObject();
當緩存文件不存在時，拋出異常：警告: 嘗試載入緩存文件E:/idea/hanlp/HanLP/data/dictionary/CoreNatureDictionary.ngram.txt.table.bin發生異常[java.io.FileNotFoundException: 然后解析CoreNatureDictionary.ngram.txt
?
br = new BufferedReader(new InputStreamReader(IOUtil.newInputStream(path), "UTF-8"));
while ((line = br.readLine()) != null){
????String[] params = line.split("\\s");
????String[] twoWord = params[0].split("@", 2);
????...
}
然后，使用一個TreeMap<Integer, TreeMap<Integer, Integer>> map來保存解析的每一行二元核心詞典條目。
?
TreeMap<Integer, TreeMap<Integer, Integer>> map = new TreeMap<Integer, TreeMap<Integer, Integer>>();
?
int idA = CoreDictionary.trie.exactMatchSearch(a);//二元接續的 @ 前的內容
int idB = CoreDictionary.trie.exactMatchSearch(b);//@ 后的內容
?
TreeMap<Integer, Integer> biMap = map.get(idA);
if (biMap == null){
????biMap = new TreeMap<Integer, Integer>();
????map.put(idA, biMap);//
}
biMap.put(idB, freq);
比如二元接續：“一 一@中”，@ 前的內容是：“一 一”，@后的內容是 “中”。由于同一個前綴可以有多個后續，比如：
?
一一@中 1
一一@為 6
一一@交談 1
所有以 '一 一' 開頭的 @ 后的后綴 以及對應的頻率 都保存到 相應的biMap中：biMap.put(idB, freq);。注意：biMap和map是不同的，map保存整個二元核心詞典，而biMap保存某個詞對應的所有后綴(這個詞 @ 后的所有條目)
?
map中保存二元核心詞典示意圖如下：
二元核心詞典主要由CoreBiGramTableDictionary.java 實現。這個類中有兩個整型數組 支撐 二元核心詞典的快速二分查找。
?
????/**
?????* 描述了詞在pair中的范圍，具體說來<br>
?????* 給定一個詞idA，從pair[start[idA]]開始的start[idA + 1] - start[idA]描述了一些接續的頻次
?????*/
????static int start[];//支持快速地二分查找
????/**
?????* pair[偶數n]表示key，pair[n+1]表示frequency
?????*/
????static int pair[];
start 數組
首先初始化一個與一元核心詞典Trie樹 size 一樣大小 的start 數組：
?
int maxWordId = CoreDictionary.trie.size();
...
start = new int[maxWordId + 1];
然后，遍歷一元核心詞典中的詞，尋找這些詞是 是否有二階共現（或者說：這些詞是否存在 二元接續）
?
for (int i = 0; i < maxWordId; ++i){
????TreeMap<Integer, Integer> bMap = map.get(i);
????if (bMap != null){
????????for (Map.Entry<Integer, Integer> entry : bMap.entrySet()){
????????????//省略其他代碼
????????????++offset;//統計以 這個詞 為前綴的所有二階共現的個數
????????}
????}//end if
????start[i + 1] = offset;
}// end outer for loop
if (bMap != null)表示 第 i 個詞(i從下標0開始)在二元詞典中有二階共現，于是 統計以 這個詞 為前綴的所有二階共現的個數，將之保存到 start 數組中。下面來具體舉例，start數組中前37個詞的值如下：
其中start[32]=0，start[33]=0，相應的 一元核心詞典中的詞為 （ ）。即，一個左括號、一個右括號。而這個 左括號 和 右括號 在二元核心詞典中是不存在詞共現的(接續)。也就是說在二元核心詞典中 沒有 （@xxx這樣的條目，也沒有 )@xxx 這個條目(xxx 表示任意以 ( 或者 ) 為前綴 的后綴接續)。因此，這也是start[32] 和 start[33]=0 都等于0的原因。
?
部分詞的一元核心詞典如下：
?
再來看 start[34]=22，start[35]=23。在一元核心詞典中，第34個詞是"一 一"，而在二元核心詞典中 '一 一'的詞共現共有22個，如下：
?
?
在一元核心詞典中，第35個詞是 "一 一列舉"，如上圖所示，"一 一列舉" 在二元核心中只有一個詞共現：“一 一列舉@芒果臺”。因此，start[35]=22+1=23。從這里也可以看出：
給定一個詞idA，從pair[start[idA]]開始的start[idA + 1] - start[idA]描述了一些接續的頻次
比如，idA=35，對應詞“一 一列舉”，它的接續頻次為1，即：23-22=1
這樣做的好處是什么呢？自問自答一下：^~^，就是大大減少了二分查找的范圍。
pair 數組
pair數組的長度是二元核心詞典行數的兩倍
?
int total = 0;
while ((line = br.readLine()) != null){
????//省略其他代碼
????total += 2;
}
pair數組 偶數 下標 存儲 保存的是 一元核心詞典中的詞 的下標，而對應的偶數加1 處的下標 存儲 這個詞的共現頻率。即： pair[偶數n]表示key，pair[n+1]表示frequency
?
????????????pair = new int[total]; ?// total是接續的個數*2
?
????????????for (int i = 0; i < maxWordId; ++i)
????????????{
????????????????TreeMap<Integer, Integer> bMap = map.get(i);//i==0?
????????????????if (bMap != null)//某個詞在一元核心詞典中, 但是并沒有出現在二元核心詞典中(這個詞沒有二元核心詞共現)
????????????????{
????????????????????for (Map.Entry<Integer, Integer> entry : bMap.entrySet())
????????????????????{
????????????????????????int index = offset << 1;
????????????????????????pair[index] = entry.getKey();//詞 在一元核心詞典中的id
????????????????????????pair[index + 1] = entry.getValue();//頻率
????????????????????}
????????????????}
????????????}
舉例來說：對于 '一 一@中'，pair數組是如何保存這對詞的詞共現頻率的呢？
'一 一'在 map 中第0號位置處，它是一元核心詞典中的第34個詞。?共有22個共現詞。如下：
其中，第一個共現詞是 '一 一 @中'，就是'一 一'與 '中' 共同出現，出現的頻率為1。而 ''中'' 在一元核心詞典中的 4124行，如下圖所示：
?
因此，'一 一@中'的pair數組存儲如下：
?
0=4123 （‘中’在一元核心詞典中的位置（從下標0開始計算））
?
1=1 （'一 一@中'的詞共現頻率）
?
2=5106 （'為' 在一元核心詞典中的位置） 【為 p 65723】
?
3=6 ('一 一@為'的詞共現頻率)
?
由此可知，對于二元核心詞典共現詞而言，共同前綴的后續詞 在 pair數組中是順序存儲的，比如說：前綴'一 一'的所有后綴：中、為、交談……按順序依次在 pair 數組中存儲。而這也是能夠對 pair 數組進行二分查找的基礎。
?
一 一@中 1
一 一@為 6
一 一@交談 1
一 一@介紹 1
一 一@作 1
一 一@分析
?
.......//省略其他
?
二分查找
現在來看看 二分查找是干什么用的？為什么減少了二分查找的范圍。為了獲取某 兩個詞（idA 和 idB） 的詞共現頻率，需要進行二分查找：
?
public static int getBiFrequency(int idA, int idB){
????//省略其他代碼
????int index = binarySearch(pair, start[idA], start[idA + 1] - start[idA], idB);
????return pair[index + 1];
}
根據前面介紹，start[idA + 1] - start[idA]就是以 idA 為前綴的 所有詞的 詞共現頻率。比如，以 '一 一' 為前綴的詞一共有22個，假設我要查找 '一 一@向' 的詞共現頻率是多少？在核心二元詞典文件CoreNatureDictionary.ngram.txt中，我們知道 '一 一@向' 的詞共現頻率為2，但是：如何用程序快速地實現查找呢？
?
二元核心詞典的總個數還是很多的，比如在HanLP1.5.3大約有290萬個二元核心詞條，如果每查詢一次 idA@idB 的詞共現頻率就要從290萬個詞條里面查詢，顯然效率很低。若先定位出 所有以 idA 為前綴的共現詞：idA@xx1，idA@xx2，idA@xx3……，然后再從從這些 以idA為前綴的共現詞中進行二分查找，來查找 idA@idB，這樣查找的效率就快了許多。
?
而start 數組保存了一元詞典中每個詞 在二元詞典中的詞共現情況： start[idA] 代表 idA在 pair 數組中共現詞的起始位置，而start[idA + 1] - start[idA]代表 以idA 為前綴的共現詞一共有多少個，這樣二分查找的范圍就只在 start[idA] 和 start[idA] + (start[idA + 1] - start[idA]) - 1之間了。
?
????private static int binarySearch(int[] a, int fromIndex, int length, int key)
????{
????????int low = fromIndex;
????????int high = fromIndex + length - 1;
????????//省略其他代碼
說到這里，再多說一點：二元核心詞典的二分查找 是為了獲取 idA@idB 的詞共現頻率，而這個詞共現頻率的用處之一就是最短路徑分詞算法(維特比分詞)，用來計算最短路徑的權重。關于最短路徑分詞，可參考這篇解析：
?
//只列出關鍵代碼
List<Vertex> vertexList = viterbi(wordNetAll);//求解詞網的最短路徑
to.updateFrom(node);//更新權重
double weight = from.weight + MathTools.calculateWeight(from, this);//計算兩個頂點(idA->idB)的權重
int nTwoWordsFreq = CoreBiGramTableDictionary.getBiFrequency(from.wordID, to.wordID);//查核心二元詞典
int index = binarySearch(pair, start[idA], start[idA + 1] - start[idA], idB);//二分查找 idA@idB共現頻率
總結
有時候由于特定項目需要，需要修改核心詞典。比如添加一個新的二元詞共現詞條 到 二元核心詞典中去，這時就需要注意：添加的新詞條需要存在于一元核心詞典中，否則添加無效。另外，添加到CoreNatureDictionary.ngram.txt里面的二元共現詞的位置不太重要，因為相同的前綴 共現詞 都會保存到 同一個TreeMap中，但是最好也是連續放在一起，這樣二元核心詞典就不會太混亂。
?
文章來源 hapjin的博客
轉載于:https://my.oschina.net/u/3793864/blog/2966681
總結
以上是生活随笔為你收集整理的HanLP二元核心词典详细解析的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 记录一次阿里架构师全程手写Spring
- 下一篇： 星云精准测试之用例魔方