1 嶺回歸（ridge regression）介紹

????????L2正則化的目的就是要讓權(quán)重衰減到更小的值，在一定程度上減少過擬合的問題。

?

L2正則化可以使參數(shù)趨近于0，函數(shù)更加平滑?

2 L2正則化的求解過程

?

?半正定矩陣加上對角矩陣λI一定是可逆的，可以解決可能不可逆帶來的問題。

3 從貝葉斯的角度看嶺回歸

和機器學(xué)習(xí)筆記：線性回歸_UQI-LIUWJ的博客-CSDN博客中一樣，我們?nèi)匀徽J為實際值和估計值之間的差距是高斯噪聲，即y和f(w)滿足：

另外，我們假設(shè)參數(shù)ω的分組服從以下先驗分布（這里補充說明一下為什么線性回歸里面不用假設(shè)ω的分布，但是嶺回歸里面需要：因為我們嶺回歸【L2正則化】的作用是限制參數(shù)ω的范圍，也就是將他壓縮到0附近的一個區(qū)間內(nèi)，所以要限制他滿足的范圍內(nèi)）

?

3.1 用最大后驗法求解參數(shù)ω?

找概率最大的w

可以看到正則化的最小二乘法與噪聲為高斯噪聲且參數(shù)先驗也是高斯分布時的最大后驗估計法是等價的。

4 總結(jié)

最小二乘法（線性回歸）<——>噪聲是高斯分布的 最大先驗估計

正則化最小二乘法（帶正則項的線性回歸）<——>噪聲是高斯分布，且參數(shù)先驗也是高斯分布的 最大先驗估計

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记：岭回归（L2正则化）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。