在機(jī)器學(xué)習(xí)各種模型訓(xùn)練數(shù)據(jù)不夠多時(shí)，或者overtraining時(shí)，常常會(huì)導(dǎo)致overfitting（過(guò)擬合）。其直觀的表現(xiàn)如下圖所示，隨著訓(xùn)練過(guò)程的進(jìn)行，模型復(fù)雜度增加，在training data上的error漸漸減小，但是在驗(yàn)證集上的error卻反而漸漸增大——因?yàn)橛?xùn)練出來(lái)的網(wǎng)絡(luò)過(guò)擬合了訓(xùn)練集，對(duì)訓(xùn)練集外的數(shù)據(jù)卻不work。

　　　　　　　　　　　　　　　　　

　　?
　　為了防止overfitting，可以用的方法有很多，下文就將以此展開(kāi)。有一個(gè)概念需要先說(shuō)明，在機(jī)器學(xué)習(xí)算法中，我們常常將原始數(shù)據(jù)集分為三部分：training data、validation data，testing data。?
　　這個(gè)validation data是什么？它其實(shí)就是用來(lái)避免過(guò)擬合的，在訓(xùn)練過(guò)程中，我們通常用它來(lái)確定一些超參數(shù)（比如根據(jù)validation data上的accuracy來(lái)確定early stopping的epoch大小、根據(jù)validation data確定learning rate等等）。那為啥不直接在testing data上做這些呢？因?yàn)槿绻趖esting data做這些，那么隨著訓(xùn)練的進(jìn)行，我們的網(wǎng)絡(luò)實(shí)際上就是在一點(diǎn)一點(diǎn)地overfitting我們的testing data，導(dǎo)致最后得到的testing accuracy沒(méi)有任何參考意義。因此，training data的作用是計(jì)算梯度更新權(quán)重，validation data如上所述，testing data則給出一個(gè)accuracy以判斷網(wǎng)絡(luò)的好壞。

　　避免過(guò)擬合的方法有很多：early stopping、數(shù)據(jù)集擴(kuò)增（Data augmentation）、正則化（Regularization）包括L1、L2（L2 regularization也叫weight decay），dropout。

L2 regularization（權(quán)重衰減）

L2正則化就是在代價(jià)函數(shù)后面再加上一個(gè)正則化項(xiàng)：?
　　　　　　　　　　　　　　　　　

　　C0代表原始的代價(jià)函數(shù)，后面那一項(xiàng)就是L2正則化項(xiàng)，它是這樣來(lái)的：所有參數(shù)w的平方的和，除以訓(xùn)練集的樣本大小n。λ就是正則項(xiàng)系數(shù)，權(quán)衡正則項(xiàng)與C0項(xiàng)的比重。另外還有一個(gè)系數(shù)1/2，1/2經(jīng)常會(huì)看到，主要是為了后面求導(dǎo)的結(jié)果方便，后面那一項(xiàng)求導(dǎo)會(huì)產(chǎn)生一個(gè)2，與1/2相乘剛好湊整。

L2正則化項(xiàng)是怎么避免overfitting的呢？我們推導(dǎo)一下看看，先求導(dǎo)：?
　　　　　　　　　　　　　　　　　

可以發(fā)現(xiàn)L2正則化項(xiàng)對(duì)b的更新沒(méi)有影響，但是對(duì)于w的更新有影響:?
　　　　　　　　　　　　　　　　　

　　在不使用L2正則化時(shí)，求導(dǎo)結(jié)果中w前系數(shù)為1，現(xiàn)在w前面系數(shù)為 1?ηλ/n ，因?yàn)棣恰ⅵ恕都是正的，所以 1?ηλ/n小于1，它的效果是減小w，這也就是權(quán)重衰減（weight decay）的由來(lái)。當(dāng)然考慮到后面的導(dǎo)數(shù)項(xiàng)，w最終的值可能增大也可能減小。

　　另外，需要提一下，對(duì)于基于mini-batch的隨機(jī)梯度下降，w和b更新的公式跟上面給出的有點(diǎn)不同：?
　　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　

　　對(duì)比上面w的更新公式，可以發(fā)現(xiàn)后面那一項(xiàng)變了，變成所有導(dǎo)數(shù)加和，乘以η再除以m，m是一個(gè)mini-batch中樣本的個(gè)數(shù)。

　　到目前為止，我們只是解釋了L2正則化項(xiàng)有讓w“變小”的效果，但是還沒(méi)解釋為什么w“變小”可以防止overfitting？一個(gè)所謂“顯而易見(jiàn)”的解釋就是：更小的權(quán)值w，從某種意義上說(shuō)，表示網(wǎng)絡(luò)的復(fù)雜度更低，對(duì)數(shù)據(jù)的擬合剛剛好（這個(gè)法則也叫做奧卡姆剃刀），而在實(shí)際應(yīng)用中，也驗(yàn)證了這一點(diǎn)，L2正則化的效果往往好于未經(jīng)正則化的效果。當(dāng)然，對(duì)于很多人（包括我）來(lái)說(shuō)，這個(gè)解釋似乎不那么顯而易見(jiàn)，所以這里添加一個(gè)稍微數(shù)學(xué)一點(diǎn)的解釋（引自知乎）：

　　過(guò)擬合的時(shí)候，擬合函數(shù)的系數(shù)往往非常大，為什么？如下圖所示，過(guò)擬合，就是擬合函數(shù)需要顧忌每一個(gè)點(diǎn)，最終形成的擬合函數(shù)波動(dòng)很大。在某些很小的區(qū)間里，函數(shù)值的變化很劇烈。這就意味著函數(shù)在某些小區(qū)間里的導(dǎo)數(shù)值（絕對(duì)值）非常大，由于自變量值可大可小，所以只有系數(shù)足夠大，才能保證導(dǎo)數(shù)值很大。?
　　　　　　　　　　　　　　　　　

　　而正則化是通過(guò)約束參數(shù)的范數(shù)使其不要太大，所以可以在一定程度上減少過(guò)擬合情況。

L1 regularization

　　在原始的代價(jià)函數(shù)后面加上一個(gè)L1正則化項(xiàng)，即所有權(quán)重w的絕對(duì)值的和，乘以λ/n（這里不像L2正則化項(xiàng)那樣，需要再乘以1/2，具體原因上面已經(jīng)說(shuō)過(guò)。）

　　　　　　　　　　　　　　　　　

　　同樣先計(jì)算導(dǎo)數(shù)：?
　　　　　　　　　　　　　　　　　

　　上式中sgn(w)表示w的符號(hào)。那么權(quán)重w的更新規(guī)則為：?
　　　　　　　　　　　　　　　　　

　　比原始的更新規(guī)則多出了η * λ * sgn(w)/n這一項(xiàng)。當(dāng)w為正時(shí)，更新后的w變小。當(dāng)w為負(fù)時(shí)，更新后的w變大——因此它的效果就是讓w往0靠，使網(wǎng)絡(luò)中的權(quán)重盡可能為0，也就相當(dāng)于減小了網(wǎng)絡(luò)復(fù)雜度，防止過(guò)擬合。

　　另外，上面沒(méi)有提到一個(gè)問(wèn)題，當(dāng)w為0時(shí)怎么辦？當(dāng)w等于0時(shí)，|W|是不可導(dǎo)的，所以我們只能按照原始的未經(jīng)正則化的方法去更新w，這就相當(dāng)于去掉η*λ*sgn(w)/n這一項(xiàng)，所以我們可以規(guī)定sgn(0)=0，這樣就把w=0的情況也統(tǒng)一進(jìn)來(lái)了。（在編程的時(shí)候，令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1）

Early stopping

　　Early stopping方法的具體做法是，在每一個(gè)Epoch結(jié)束時(shí)（一個(gè)Epoch集為對(duì)所有的訓(xùn)練數(shù)據(jù)的一輪遍歷）計(jì)算validation data的accuracy，當(dāng)accuracy不再提高時(shí)，就停止訓(xùn)練。這種做法很符合直觀感受，因?yàn)閍ccurary都不再提高了，在繼續(xù)訓(xùn)練也是無(wú)益的，只會(huì)提高訓(xùn)練的時(shí)間。那么該做法的一個(gè)重點(diǎn)便是怎樣才認(rèn)為validation accurary不再提高了呢？并不是說(shuō)validation accuracy一降下來(lái)便認(rèn)為不再提高了，因?yàn)榭赡芙?jīng)過(guò)這個(gè)Epoch后，accuracy降低了，但是隨后的Epoch又讓accuracy又上去了，所以不能根據(jù)一兩次的連續(xù)降低就判斷不再提高。一般的做法是，在訓(xùn)練的過(guò)程中，記錄到目前為止最好的validation accuracy，當(dāng)連續(xù)10次Epoch（或者更多次）沒(méi)達(dá)到最佳a(bǔ)ccuracy時(shí)，則可以認(rèn)為accuracy不再提高了。此時(shí)便可以停止迭代了（Early Stopping）。這種策略也稱為“No-improvement-in-n”，n即Epoch的次數(shù)，可以根據(jù)實(shí)際情況取，如10、20、30……

Dropout

　　L1、L2正則化是通過(guò)修改代價(jià)函數(shù)來(lái)實(shí)現(xiàn)的，而Dropout則是通過(guò)修改神經(jīng)網(wǎng)絡(luò)本身來(lái)實(shí)現(xiàn)的，它是在訓(xùn)練網(wǎng)絡(luò)時(shí)用的一種技巧（trike）。它的流程如下：?
　　　　　　　　　　　　　　　　　

　　假設(shè)我們要訓(xùn)練上圖這個(gè)網(wǎng)絡(luò)，在訓(xùn)練開(kāi)始時(shí)，我們隨機(jī)地“刪除”一半的隱層單元，視它們?yōu)椴淮嬖?#xff0c;得到如下的網(wǎng)絡(luò)：?
　　　　　　　　　　　　　　　　　

　　保持輸入輸出層不變，按照BP算法更新上圖神經(jīng)網(wǎng)絡(luò)中的權(quán)值（虛線連接的單元不更新，因?yàn)樗鼈儽弧芭R時(shí)刪除”了）。

　　以上就是一次迭代的過(guò)程，在第二次迭代中，也用同樣的方法，只不過(guò)這次刪除的那一半隱層單元，跟上一次刪除掉的肯定是不一樣的，因?yàn)槲覀兠恳淮蔚际恰半S機(jī)”地去刪掉一半。第三次、第四次……都是這樣，直至訓(xùn)練結(jié)束。

　　以上就是Dropout，它為什么有助于防止過(guò)擬合呢？可以簡(jiǎn)單地這樣解釋，運(yùn)用了dropout的訓(xùn)練過(guò)程，相當(dāng)于訓(xùn)練了很多個(gè)只有半數(shù)隱層單元的神經(jīng)網(wǎng)絡(luò)（后面簡(jiǎn)稱為“半數(shù)網(wǎng)絡(luò)”），每一個(gè)這樣的半數(shù)網(wǎng)絡(luò)，都可以給出一個(gè)分類結(jié)果，這些結(jié)果有的是正確的，有的是錯(cuò)誤的。隨著訓(xùn)練的進(jìn)行，大部分半數(shù)網(wǎng)絡(luò)都可以給出正確的分類結(jié)果，那么少數(shù)的錯(cuò)誤分類結(jié)果就不會(huì)對(duì)最終結(jié)果造成大的影響。

　　更加深入地理解，可以看看Hinton和Alex兩牛2012的論文《ImageNet Classification with Deep Convolutional Neural Networks》

數(shù)據(jù)集擴(kuò)增（data augmentation）

“有時(shí)候不是因?yàn)樗惴ê泌A了，而是因?yàn)閾碛懈嗟臄?shù)據(jù)才贏了。”

　　不記得原話是哪位大牛說(shuō)的了，hinton？從中可見(jiàn)訓(xùn)練數(shù)據(jù)有多么重要，特別是在深度學(xué)習(xí)方法中，更多的訓(xùn)練數(shù)據(jù)，意味著可以用更深的網(wǎng)絡(luò)，訓(xùn)練出更好的模型。

　　既然這樣，收集更多的數(shù)據(jù)不就行啦？如果能夠收集更多可以用的數(shù)據(jù)，當(dāng)然好。但是很多時(shí)候，收集更多的數(shù)據(jù)意味著需要耗費(fèi)更多的人力物力，有弄過(guò)人工標(biāo)注的同學(xué)就知道，效率特別低，簡(jiǎn)直是粗活。

　　所以，可以在原始數(shù)據(jù)上做些改動(dòng)，得到更多的數(shù)據(jù)，以圖片數(shù)據(jù)集舉例，可以做各種變換，如：

　　將原始圖片旋轉(zhuǎn)一個(gè)小角度

　　添加隨機(jī)噪聲

　　一些有彈性的畸變（elastic distortions），論文《Best practices for convolutional neural networks applied to visual document analysis》對(duì)MNIST做了各種變種擴(kuò)增。

　　截取（crop）原始圖片的一部分。比如DeepID中，從一副人臉圖中，截取出了100個(gè)小patch作為訓(xùn)練數(shù)據(jù)，極大地增加了數(shù)據(jù)集。感興趣的可以看《Deep learning face representation from predicting 10,000 classes》.

　　更多數(shù)據(jù)意味著什么？

　　用50000個(gè)MNIST的樣本訓(xùn)練SVM得出的accuracy94.48%，用5000個(gè)MNIST的樣本訓(xùn)練NN得出accuracy為93.24%，所以更多的數(shù)據(jù)可以使算法表現(xiàn)得更好。在機(jī)器學(xué)習(xí)中，算法本身并不能決出勝負(fù)，不能武斷地說(shuō)這些算法誰(shuí)優(yōu)誰(shuí)劣，因?yàn)閿?shù)據(jù)對(duì)算法性能的影響很大。?

轉(zhuǎn)載于:https://www.cnblogs.com/ocean1100/articles/7638299.html

總結(jié)

以上是生活随笔為你收集整理的正则化方法：防止过拟合，提高泛化能力的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。