題目：

?

---

?

這是機器學習基石作業三種的第二小題，額，在網上看了很多解答（解答也不多）感覺都沒有說清楚為什么，所以勵志清楚滴解決一下這個問題，經過努力，自認為得到了詳細的解答，內容如下：

（一）解決選項（e）：

當t=1時：

當t>=2時，假設,則有?

所以，,即H為冪等矩陣，那么最終就必然成立了。

所以選項（e）是正確的。

?

（二）解決選項（c）（d）：

設為H的任意特征值（對應于某個非零向量）,則是的特征值（對應于同一個非零向量）

=>是的特征值，又，所以是0矩陣的任意特征值；而0矩陣的特征值只能為0；

=>=0；=>或

又 trace(H)=trace()=trace(){原因trace(ABC)=trace(CAB)}

由題可知，可逆，且,所以trace(H)=trace()=d+1

而trace(H)等于所有特征值的和，其值為d+1，而特征值只能為0或1，所以必有d+1個特征值恰好是1；

綜上（c）錯誤，（d）正確。

?

（三）解決選項（a）（b）：

所以H是對稱矩陣，且,

因為實對稱矩陣為半正定的充要條件是：A的特征值全部非負。所以由（二）可知H為半正定矩陣。（a正確）

而對于實對稱矩陣其秩為非零特征值的個數，由（二）知為d+1；所以當N>(d+1)的時候，H必然是不可逆的。（b錯誤）

?

---

在解決了問題以后，我們就來看看林老師在課程中提出的通過H來證明線性回歸的.

最重要的就是先理解這幅圖了。

首先，這是一個什么空間？ 這是一個以所有的樣本對應的預測值為坐標軸的值空間。

假設樣本為，那么。span of X則是整個假設空間H的值空間：

span of X

同時再增加一些假設（個人認為需要加的）:noise的來源只是對于給定的觀察到了錯誤的y，而本身不產生noise。

并且，對于每一個的真實觀測值必然包含于H，也就是我們的假設空間是可分的（定義來源于《西瓜書》）。這樣

也就說明了f()必然包含于span of X。因為垂直于span of X，所以垂直于f(x),那么f(x)*(I-H)，也就是f(x)

向投影的值為0。

這樣，很自然的就有如下的公式：

設noise level =?

而前面的I-H則是一個矩陣，而則是I-H的范數的平方，我們用F范數來刻畫的話，則

所以noise level*??????(N-(d+1))=?

總結

以上是生活随笔為你收集整理的机器学习基石-作业三-第2题分析以及通过H证明EIN的讨论的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。