說明：文章內容來源于課程視頻和課程ppt。我只學習了課程沒有做習題。文章不是翻譯，是我對課程的理解。

---

1 TR的主要構成

　在文章中文本檢索系統=全文檢索系統=TR System
　從圖中看到(紅色的方框)TR的主要過程有：分詞(Tokenizer)、索引(Indexer)、打分(Scorer)、反饋(Feedback) 四個部分。
　如果把用戶發起搜索操作得到檢索結果這一過程稱為線上(Online)，其他時間稱為線下(Offline)，那么這四個步驟的時間段分布分別為：

操作時段

分詞	線上、線下
索引	線下
打分	線上
反饋	線上、線下

　接下來的內容會介紹這四個方面。

2 分詞

　分詞的時候需要把有相近意思的詞合并在同一個索引項中。關于這一點在工作中實際上是查詢的時候合并的同義詞。這個之后可以測試一下。
　提取詞干。將所有變形的詞變為同一個詞。例如：computer->compute；computation->compute；computing->compute。
　分詞算法：不同語言分詞算法不同，分詞難度也不同。

3 索引

　索引是把文檔變為一種便于快速查找的數據結構。其中最主要的一種思想是倒排索引(Inverted index)。倒排索引是以詞作為關鍵詞，記錄詞出現的文檔編號，以及在文檔中的詞頻、位置等信息。

詞的經驗分布

　無論哪種語言，都會有些詞分布特別頻繁，而有些詞很少用。在一項調查中顯示，以詞出現次數從多到少排序。最前面的4個詞的出現次數，占比10%-15%；最前面的50個詞的出現次數，占比35-40%。
　Zipf’s Law很好的描述了這種現象。
　rank?frequency≈constant 詞出現的位置與詞頻乘積幾乎等于一個常數。
　

創建索引

數據量大的問題

　數據量大的問題：mapreduce 分布式索引

索引壓縮

　詞頻壓縮：詞頻多是小數字。java中int原本占用相同的字節數，經過壓縮后小數字占用較少的字節，大數字占用較多的字節。總體上占用較少的字節。
　Doc ID 壓縮：文檔id是連續的數字，例如：2、3、4….. 使用”d-gap”壓縮。存儲形式是：d1、d2-d1、d3-d2。這種方法比較適合序列讀取。
　具體的壓縮算法有：Binary code, unary code, γ-code, δ-code…可以通過wiki學習。

索引解壓縮

　壓縮后的數字在搜索過程中是一定要通過解壓縮步驟，才能讀到的。不同的壓縮算法，對應不同的解壓步驟。
　

4 搜索之打分

　打分是搜索中很重要的一部分。其實這部分的內容是快速搜索，包含打分和優化查詢速度兩個部分。

打分Score

　一個通用的打分模型：f(q,d)=fa(h(g(t1,q,d),...,g(tk,q,d)),fd(d),fq(q))
　1fd(d)是關于文檔的打分，提前計算好的。
　2fq(q)是關于查詢的打分，也是提前計算好的。
　3g(ti,q,d)是關于其中一項命中詞的打分。
　4h是所有命中詞打分的累加和。
5fa是fd,fq,h三個值的函數，是最終得到的函數。
　這里就具體用到了某一種計算相關度的算法。其中一種就是之前文章提到的VSM。

優化查詢速度

　策略1：緩存。把搜索結果、倒排索引表緩存起來。
　策略2：并行搜索。在數據量大的時候使用并行搜索。

5 反饋

　這部分內容會比較多，單獨一篇文章講。

總結

以上是生活随笔為你收集整理的构建一个文本搜索系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。