問題

線性判別分析（Linear Discriminant Analysis，LDA）是機器學習中常用的降維方法之一，本文旨在介紹LDA算法的思想，其數學推導過程可能會稍作簡化。

LDA的思想

● LDA是一種線性的、有監督的降維方法，即每個樣本都有對應的類別標簽（這點和PCA）。

● 主要思想：給定訓練樣本集，設法將樣本投影到一條直線上，使得同類的樣本的投影盡可能的接近、異類樣本的投影盡可能地遠離（即最小化類內距離和最大化類間距離）。

下面分別通過《機器學習》和《百面機器學習》兩本書中的圖片先來直觀地理解一下LDA的思想。

● 為什么要將最大化類間距離和最小化類內距離同時作為優化目標呢？

先看上面第二張圖的左圖（a），對于兩個類別，只采用了最大化類間距離，其結果中兩類樣本會有少許重疊；而對于右圖（b），同時最大化類間距離和最小化類內距離，可見分類效果更好，同類樣本的投影分布更加集中了。當然，對于二維的數據，可以采用將樣本投影到直線上的方式，對于高維的數據，則是投影到一個

總結

以上是生活随笔為你收集整理的机器学习| 面试题：11、LDA算法原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。