一直想把自己整理的

想做到天衣無縫，就必須認認真真學會百度分詞技術，當然這些分詞技術是王施帆個人推測分析出來的，百度自己的科研技術是不可能公開的，畢竟競爭對手那么多，都掌握了，市場也亂了不是？下面這些推測，肯定不是隨隨便便想出來的，是通過數據分析的，這點，請各位放心。

百度分詞的4個原理：

1、基于理解：傻瓜式匹配，小于等于3個中文字符百度是不進行切詞的，比如搜索“大學堂”。

2、基于統計：百度把一個詞標紅的原因：標紅的詞一般是一個關鍵詞，你搜索“學”字的時候，百度它自認的把“學習”也當成了一個關鍵詞，所以出現“學習”這個詞標紅，這就是百度分詞法：基于統計分詞。

3、基于字符串匹配(百度的分詞法：正向最大切詞法)

最大與最小(最大匹配：一直匹配到沒詞可配；最小匹配：匹配出詞了就停止匹配，再從另一個詞開始匹配)比如：百度搜索“湖南大學堂屋頂”，百度的一個分詞算法我們把它當成一個黑盒子，我們通過一些輸入關鍵詞，根據百度的輸出結果來判定百度的分詞算法。正向與反向(正向：從前往后配；反向：從后往前配)(湖南大學堂屋頂)正向分法：湖南大學 堂屋 頂 (劉強大地方法)正向分法：劉 強大 地方 法。反向分法：方法 大地 劉 強。而在這個詞語當中“大地”不是一個詞。百度分詞技術

4、基于專有詞庫。比如杰出人物(如：)明星(如：劉德華)檢索量大的詞(如：買票難) 。

分詞工具(沒有百度的，要是有，就會出現問題，收集了幾個開源的分詞工具，詳細內容后續補充)：

1、ICTCLAS – 全球最受歡迎的漢語分詞系統

2、HTTPCWS – 基于HTTP協議的開源中文分詞系統

3、SCWS – 簡易中文分詞系統

4、PhpanAlysis - PHP無組件分詞系統

5 、MMSEG4J

6、盤古分詞

7、IKAnalyzer 開源的輕量級中文分詞工具包

中文分詞API(百度不提供該服務)：

新浪SAE平臺上提供的分詞功能

官網說明：，SAE分詞系統基于隱馬模型開發出的漢語分析系統，主要功能包括中文分詞、詞性標注、命名實體識別、新詞識別。

調用規則：?key=simon&wd={語句}

百度分詞的一些猜測：

1. 判斷用戶提交字符串，如果為多個字符串，則通過空格，標點符號，等進行切割。

2. 判斷提交字符串中有無字母或者數字，如果有把字母與數字當作獨立整體，并把這個整體當作切割負，進行前后切割。

3. 判斷切割后的詞組有無重復詞，有當作一個計算。

4. 如果提交為一個字符串，判斷字符串字數，大于4并等于4個字的進行切割，如果小于4個字不進行任何處理。

5. 對照特殊詞庫表進行提取，如果字符串中包含特殊詞進行單獨提取。

6. 進行正向分詞處理。

7. 進行反向分詞處理。

8. 正向分詞結果與反向分詞結果進行對比，如果結果一樣，直接輸出。

9. 如果結果不一樣，輸出最短路徑(詞數最少的)進行輸出。

10. 如果長度一樣進行則輸出單子最少的結果。

11. 如果單子最少結果一樣，則輸出正向分詞結果。

針對百度索引提示，糾錯原理。

1.判讀詞組，1個字的詞不進行提示，大于1個字開啟提示功能。

1.進行同音字提示，如果詞數過多，提取用戶搜索最多詞組進行提示。

除以上外，我們還需要注意一點，那就是現在分詞中進行了語意相關結合：

舉個例子我們常常在搜索某些詞的時候會發現有些結果中并不是完全匹配的詞也進行了飄紅。百度分詞技術其實這種情況就是語意結合。我們可以理解為百度把相關詞表進行了關聯，或者干脆進行了表結合。造成了這種情況的出現。

比如我們搜索太原，我們會發現太原與太原市都進行了飄紅。

百度分詞的幾個精彩例子：

本文來自電腦雜談，轉載請注明本文網址：

http://www.pc-fly.com/a/jisuanjixue/article-37624-1.html

總結

以上是生活随笔為你收集整理的php盘古分词,百度分词技术_百度输入法分词怎么关_百度分词原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。