[python] 基于k-means和tfidf的文本聚类代码简单实现
生活随笔
收集整理的這篇文章主要介紹了
[python] 基于k-means和tfidf的文本聚类代码简单实现
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
俗話說“外行看熱鬧,內(nèi)行看門道“,作為一個(gè)機(jī)器學(xué)習(xí)的門外漢,剛研究python機(jī)器學(xué)習(xí)scikit-learn兩周時(shí)間,雖然下面這段程序可能對于那些專研算法或機(jī)器學(xué)習(xí)的人來說非常簡單,但對于一些入門的同學(xué)和我自己還是非常有幫助的。如果文章中有錯(cuò)誤或不足之處,還請你微微一笑,原諒之;當(dāng)然也非常歡迎你提出建議或指正~
基本步驟包括:
1.使用python+selenium分析dom結(jié)構(gòu)爬取百度|互動(dòng)百科文本摘要信息;
2.使用jieba結(jié)巴分詞對文本進(jìn)行中文分詞,同時(shí)插入字典關(guān)于關(guān)鍵詞;
3.scikit-learn對文本內(nèi)容進(jìn)行tfidf計(jì)算并構(gòu)造N*M矩陣(N個(gè)文檔 M個(gè)特征詞);
4.再使用K-means進(jìn)行文本聚類(省略特征詞過來降維過程);
5.最后對聚類的結(jié)果進(jìn)行簡單的文本處理,按類簇歸類,也可以計(jì)算P/R/F特征值;
6.總結(jié)這篇論文及K-means的缺點(diǎn)及知識(shí)圖譜的一些內(nèi)容。
當(dāng)然這只是一篇最最基礎(chǔ)的文章,更高深的分類、聚類、LDA、SVM、隨機(jī)森林等內(nèi)容,自己以后慢慢學(xué)習(xí)吧!這篇作為在線筆記,路漫漫其修遠(yuǎn)兮,fighting~
基本步驟包括:
1.使用python+selenium分析dom結(jié)構(gòu)爬取百度|互動(dòng)百科文本摘要信息;
2.使用jieba結(jié)巴分詞對文本進(jìn)行中文分詞,同時(shí)插入字典關(guān)于關(guān)鍵詞;
3.scikit-learn對文本內(nèi)容進(jìn)行tfidf計(jì)算并構(gòu)造N*M矩陣(N個(gè)文檔 M個(gè)特征詞);
4.再使用K-means進(jìn)行文本聚類(省略特征詞過來降維過程);
5.最后對聚類的結(jié)果進(jìn)行簡單的文本處理,按類簇歸類,也可以計(jì)算P/R/F特征值;
6.總結(jié)這篇論文及K-means的缺點(diǎn)及知識(shí)圖譜的一些內(nèi)容。
當(dāng)然這只是一篇最最基礎(chǔ)的文章,更高深的分類、聚類、LDA、SVM、隨機(jī)森林等內(nèi)容,自己以后慢慢學(xué)習(xí)吧!這篇作為在線筆記,路漫漫其修遠(yuǎn)兮,fighting~
一. 爬蟲
總結(jié)
以上是生活随笔為你收集整理的[python] 基于k-means和tfidf的文本聚类代码简单实现的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: [python] 安装numpy+sci
- 下一篇: websocket python爬虫_p