第22章 無監督學習方法總結

本文是李航老師的《統計學習方法》一書的代碼復現。作者：黃海廣

備注：代碼都可以在github中下載。我將陸續將代碼發布在公眾號“機器學習初學者”，可以在這個專輯在線閱讀。

無監督學習方法的關系和特點

第2篇詳細介紹了八種常用的統計機器學習方法，即聚類方法（包括層次聚類與k均值聚類）、奇異值分解（SVD）、主成分分析（PCA）、無監督學習方法總結 22.1無監潛在語義分析（LSA）、概率潛在語義分析（PLSA）、馬爾可夫鏈蒙特卡羅法（CMC，包括 Metropolis-Hastings-算法和吉布斯抽樣）、潛在狄利克雷分配（LDA）、 PageRank算法。此外，還簡單介紹了另外三種常用的統計機器學習方法，即非負矩陣分解（NMF）變分推理、冪法。這些方法通常用于無監督學習的聚類、降維、話題分析以及圖分析。

表 無監督學習方法的特點

方法模型策略算法

聚類	層次聚類	聚類樹	類內樣本距離最小	啟發式算法
	k均值聚類	k中心聚類	樣本與類中心距離最小	迭代算法
	高斯混合模型	高斯混合模型	似然函數最大	EM算法
降維	PCA	低維正交空間	方差最大	SVD
話題分析	LSA	矩陣分解模型	平方損失最小	SVD
	NMF	矩陣分解模型	平方損失最小	非負矩陣分解
	PLSA	PLSA模型	似然函數最大	EM算法
	LDA	LDA模型	后驗概率估計	吉布斯抽樣，變分推理
圖分析	PageRank	有向圖上的馬爾可夫鏈	平穩分布求解	冪法

表 含有隱變量概率模型的學習方法的特點

算法基本原理收斂性收斂速度實現難易度適合問題

EM算法	迭代計算、后驗概率估計	收斂于局部最優	較快	容易	簡單模型
變分推理	迭代計算、后驗概率近似估計	收斂于局部最優	較慢	較復雜	復雜模型
吉布斯抽樣	隨機抽樣、后驗概率估計	依概率收斂于全局最優	較慢	容易	復雜模型

表 矩陣分解的角度看話題模型

下載地址

https://github.com/fengdu78/lihang-code

參考資料：

[1] 《統計學習方法》: https://baike.baidu.com/item/統計學習方法/10430179

[2] 黃海廣: https://github.com/fengdu78

[3] ?github: https://github.com/fengdu78/lihang-code

總結

以上是生活随笔為你收集整理的复现经典：《统计学习方法》第22章 无监督学习方法总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。