?在周志華老師的《機器學習》中，線性判別這一節中說，樣本點在直線上的投影為，這和線性代數中正交投影中所描述的可不大一樣。

首先，要明確一點，是指投影后的點到原點的距離，而不是投影后的點，原書有點誤導。

因為，線性判別分析要分析投影后的點的距離（類間散度，類內散度），所以不用求投影點，直接求投影后的距離就可以了。

但是這并沒有解答主要疑問，根據正交投影的公式，投影后距離也不是

先來看一下，正交投影的公式：

? ? ? ? 對中的一個非零向量，考慮中的一個向量y，y在上的正交投影記為

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（推導過程請參考線性代數相關章節）

? ? ? ?矩陣的點乘表示，矩陣對應元素乘積的和。

我們來看一個例子：

? ? ? ?，，求在上的正交投影。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

從計算結果來看投影后向量的模，并不等于，反而。這就是產生疑問的點。

?

在觀察LDA建模過程中最大化目標方程時，有了一些想法，最大化目標方程如下所示：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

可以看到，分子分母都有，所以，是否是因為有相同的常數項可以消去，所以在消去常數項之后表示為了

在代數定義中找不到先關的解釋，那我們就在幾何中找找關系。

二維空間中點向直線的投影，如下圖所示：

?要求A'到原點的距離（即原點到點A'向量的長度），有（dis代表距離，distance的縮寫），用向量范數表示為，而，綜合兩式得：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

用原書中的符號表示就是（用表示的投影點）：，而矩陣點乘等于，例如?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

所以，而為公共常量（都是同一個），一個公共常量對于最大化目標是無意義（雖然上下式可以消這個常量），并不影響結果，所以可以舍去，從而有了投影長度為

總結

以上是生活随笔為你收集整理的LDA线性判别分析——投影的疑问解答的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。