Jieba分词原理与解析
1 HMM模型
馬爾科夫過(guò)程:
以天氣判斷為例:引出隱馬爾科夫模型
?
于是我們可以將這種類型的過(guò)程建模為有一個(gè)隱藏的馬爾科夫過(guò)程和一個(gè)與這個(gè)隱藏馬爾科夫過(guò)程概率相關(guān)的并且可以觀察到的狀態(tài)集合。這就是本文重點(diǎn)介紹的隱馬爾可夫模型。
隱馬爾可夫模型(Hidden Markov Model) 是一種統(tǒng)計(jì)模型,用來(lái)描述一個(gè)含有隱含未知參數(shù)的馬爾可夫過(guò)程。
馬爾科夫假設(shè)
?
?
2 三個(gè)問(wèn)題
?
?
?
?
源碼架構(gòu)
├── jieba
│ ├── analyse
│ │ ├── analyzer.py
│ │ ├── idf.txt
│ │ ├── init.py
│ │ ├── textrank.py
│ │ └── tfidf.py
│ ├── _compat.py
│ ├── dict.txt
│ ├── finalseg
│ │ ├── init.py
│ │ ├── prob_emit.p
│ │ ├── prob_emit.py
│ │ ├── prob_start.p
│ │ ├── prob_start.py
│ │ ├── prob_trans.p
│ │ └── prob_trans.py
│ ├── init.py
│ ├── main.py
│ └── posseg
│ ├── char_state_tab.p
│ ├── char_state_tab.py
│ ├── init.py
│ ├── prob_emit.p
│ ├── prob_emit.py
│ ├── prob_start.p
│ ├── prob_start.py
│ ├── prob_trans.p
│ ├── prob_trans.py
│ └── viterbi.py
├── LICENSE
├── MANIFEST.in
├── README.md
├── setup.py
└── test
?
3 Jieba源碼分塊解析
?
?
?
?
?
?
Jieba應(yīng)用實(shí)踐
?
隱馬爾可夫模型(HMM)攻略
HMM的(五個(gè)基本要素,三個(gè)假設(shè),三個(gè)解決的問(wèn)題)
HMM學(xué)習(xí)最佳范例七:前向-后向算法3
中文分詞技術(shù)(中文分詞原理)
鬼吹燈文本挖掘
https://blog.csdn.net/zhuzuwei/article/details/80775078
?
?
總結(jié)
以上是生活随笔為你收集整理的Jieba分词原理与解析的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 自然语言处理课程(二):Jieba分词的
- 下一篇: Python xrange() 函数