第15節(jié) L1和L2正則幾何解釋和Ridge，Lasso，Elastic Net回歸

上一節(jié)中我們講解了L1和L2正則的概念，知道了L1和L2都會使不重要的維度權(quán)重下降得多，重要的維度權(quán)重下降得少，引入L1正則會使不重要的w趨于0(達(dá)到稀疏編碼的目的)，引入L2正則會使w的絕對值普遍變小(達(dá)到權(quán)值衰減的目的)。本節(jié)的話我們從幾何角度再講解下L1和L2正則的區(qū)別。

L1正則是什么？|W1|+|W2|，假如|W1|+|W2|=1，也就是w1和w2的絕對值之和為1 。讓你畫|W1|+|W2|=1的圖形，剛好是下圖中方形的線。

?

仔細(xì)思考一下，用一個分類函數(shù)去討論，比如第二象限，W1小于零，W2大于零，此時這個絕對值就等于W2-W1=1，在第一象限里面，它倆都大于零，就把絕對值脫掉，變成W1+W2=1，所以，這是一個分類討論的例子。所以根據(jù)4個象限的取值不同，畫出圖中所示的L1正則項等高線的圖。

L2正則是什么？

畫出其圖形剛好是個圓形。

?

無論是L1正則還是L2正則，最后的最優(yōu)解一定是出現(xiàn)在損失函數(shù)和正則等高線的焦點上。為什么呢，我們反推一下，如果不在焦點，假如說這是一個二維空間，這個例子里面有兩個W，假如不加正則，能夠使損失函數(shù)達(dá)到最小值的點也就是目標(biāo)函數(shù)最優(yōu)解的地方，如果加上了L1正則或者L2正則，原來只使損失函數(shù)達(dá)到最小值的地方，還能使目標(biāo)函數(shù)達(dá)到最小值嗎？ 肯定不能，那么最優(yōu)解得點它在哪？

假設(shè)新的最優(yōu)點在下圖位置：

?因為圓圈是L2正則的等高線，所以L2沒變小，誰變大了，損失項是不是變大了？因為損失函數(shù)等高線越往外值越大，所以上圖中這個假設(shè)的最優(yōu)點的損失項，肯定比焦點上的損失項要大。

假設(shè)新的最優(yōu)點在下圖位置：

?

雖然損失項沒變大，但是這個正則項是不是變大了？所以最優(yōu)解一定會出現(xiàn)在它們的相切的位置，也就是焦點的位置。

又因為L1正則的等高線圖形是這種方形的，所以最優(yōu)解更容易出現(xiàn)在軸上。

?此時W1=0，W2=1。這個圖在很多書里面都出現(xiàn)過。但是特別討厭的就是沒有一本書給你解釋這個圖是怎么個意思？實際上方形和圓形是L1，L2正則的等高線。 而這些彩色的圓圈是loss的等高線，它想解釋的是為什么L1正則更容易導(dǎo)致某些W變?yōu)榱?#xff0c;本質(zhì)上是因為它在空間里面形成的等高線是尖的，在軸上它會扎到loss的等高線上，而這個圓乎乎的東西L2正則的等高線它不會扎。所以L2正則你再怎么加，再不重要的特征，也不會讓它到零。這個是由它的幾何特性決定的，L2它就是一個圓乎乎的東西，L1是一個很尖銳的東西。

接下來我們討論下Ridge回歸與Lasso回歸， Ridge回歸(嶺回歸)的公式如下：

你發(fā)現(xiàn)它就是一個線性回歸，加了一個L2正則。再來看下 Lasso回歸，它就是一個線性回歸，加了一個L1正則。

α是什么？α是取決于你有多重視正則項，也就是多重視模型簡單程度的，值越大，說明我越想得到簡單的模型。假如你把α調(diào)成了很大比如100，就證明我只想要一個簡單的模型，模型錯的多離譜，我并不在乎。假如我們調(diào)成了一個0.01，可能簡單性我不是那么重視，也重視。但是模型一定得相對做好。所以α一般會調(diào)到多大？是大于1還是小于1的？一定是小于1的。默認(rèn)α通常會0.1，0.01，也可以是0.001。

我們再看下面關(guān)于α的變化與W的對應(yīng)變化的圖：

? 這十條線代表10個W，當(dāng)這個α調(diào)到10的-10次方的時候，幾乎你可以認(rèn)為它壓根就沒加L2正則。這會L2正則影響極小的時候，你發(fā)現(xiàn)此時模型訓(xùn)練出來的W都是一個特別大的權(quán)重的模型(200,150,-100等)，因為它只追求了損失函數(shù)一定要最低。但你看隨著把α的權(quán)重越調(diào)越大的話，這些線都迅速地被收起來了。僅僅將α調(diào)到0.01的時候，此時W就變得很小了，你可以想象α的系數(shù)才0.01，因此也不會對錯誤率影響很大。當(dāng)然這個例子一定是一個特殊情況，現(xiàn)實情況可能不會那么完美，它不一定會有這么大作用。但是你可以看到哪怕你α只設(shè)了一點點，就比不設(shè)強很多，它就能大幅度的簡化掉你模型原來沒有用的大權(quán)重，與此同時又沒帶來太高的錯誤率，沒帶來太高的損失，所以通常都會加L2正則。。

Ridge回歸(嶺回歸)和Lasso回歸兩種方式的結(jié)合，叫Elastic Net，也就是對損失函數(shù)同時增加L1和L2正則。公式如下：

α是超參數(shù)， ρ是一個新的超參數(shù)，它是一個0到1之間的數(shù)，當(dāng)ρ值為0的時候， L1正則就被干掉了。當(dāng)ρ值為1的時候，L2正則被干掉了，當(dāng)ρ值為0.5或0.6，0.7的時候，就變成了一個兩種正則的混合形式，它兼?zhèn)淞薒1跟L2兩項特點。那么底下這張圖解釋下Elastic Net與Lasso回歸的對比:

實線為什么是嶺回歸，因為隨著α增大，w歸到0上去了。所以加的是L1正則，L1正則會使W為0，因L2正則它都不著急歸為零，但都會使w通通變小，所以你加了L1正則的時候w迅速的縮到0了。Elastic Net它也能讓這個w縮進(jìn)去，但它縮的比原來晚了一些。比如原來這個藍(lán)線Lasso回歸很快使w變?yōu)?,很快縮到0，而Elastic Net相對很慢才使w變?yōu)?，縮的較慢。實際上它的應(yīng)用不是特別多，為什么不是特別多？因為超參數(shù)不好調(diào)，你永遠(yuǎn)找不到一個最合適的ρ，來平衡他們的關(guān)系，并且還能說明白了為什么你要選這個ρ。如果你說那我就成敗論英雄，我就試哪個ρ對訓(xùn)練集最好，我就選哪個ρ，這本身是不是就是一種過擬合，就相當(dāng)于你去迎合你的訓(xùn)練集的概念上去了。

總結(jié)

以上是生活随笔為你收集整理的l2的最优回归_大白话5分钟带你走进人工智能-第15节L1,L2几何解释和Ridge等回归...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。