1.訓練樣本

數據增強

• 方法：通過對樣本圖像平移、旋轉或鏡像翻轉，增加樣本數量；
• 優點：使有限的數據得到最大程度的有效利用。

使用大規模數據集

• ImageNet：基于WorldNet，按層級圖像分類，動物植物食物等，末梢節點包含多張對應圖像；
• Place：在SVNDatabase基礎上的擴展，包括多種場景，室內、室外、交通工具、建筑物等。

其它

• 設置圖像中間區域為感興趣區域，可以防止變換后的樣本偏離圖像區域；
• 對樣本會產生形狀變化的情況，如手寫字符識別，先變形再數據增強，可以使用彈性變換算法，包括雙線性插值或雙三次插值等插值法。

2.預處理

原因：當樣本類別內差異較大時，為了減少樣本差異，會進行預處理。

方法：均值減法、歸一化、白化。

均值減法

• 大規模的物體識別預處理的方式；
• eg：圖像識別中，訓練樣本-均值圖像=輸入數據（差分圖像），經過處理后，數據平均值會變為0，圖像整體亮度變化可以得到抑制。

歸一化

• 為樣本的均值和方差添加約束的一種預處理方法。
• 首先計算各數據標準差，然后對樣本圖像進行均值減法，再除以標準差；
• 可以得到均值為0，方差為1的標準化數據，可以得到高度差異更小的圖像樣本。

白化

• 消除數據間的相關性，增強圖像邊緣。
• 首先使用均值減法使數據均值為0，得到；然后進行白化處理，，PD分別為奇異值分解后的正交矩陣和對角矩陣；
• 該方法可以消除相關性較高的信息，保留邊緣等相關性較低的信息，可以提高圖像的識別性能。

3.激活函數

maxout：從k個單元輸出值中取最大值作為單元的最終輸出。

• 卷積層使用：在多個特征圖的相同位置選取最大值，用來減少特征圖的個數；
• 池化層使用：最大池化，用來縮小特征圖。

ReLU函數的衍生函數

• 其中，R ReLU性能最優，但是差異不大。

4.DropOut

原理：在網絡訓練的過程中，按照一定的概率將一部分中間層單元暫時從網絡中丟棄，把該單元的輸出設置為0，使其不工作來避免過擬合。

• 丟棄概率通常是50％，可以在不同層設置不同的DropOut概率。

注意：

• 對被舍棄的單元進行誤差反向傳播計算時，使用被丟棄之前的原始輸出值；
• 用訓練好的網絡進行識別時，經過進行過DropOut處理的層時，輸出值要在原始輸出的基礎上乘以訓練時DropOut的概率。

5.DropConnect

原理：將一部分連接權重設置為0，達到舍棄一部分單元，防止過擬合的目的。

與DropOut比較：

• 性能更好，被丟棄的單元數更多；
• 訓練難度更高，需要隨機選擇設置為0的連接權重，對隨機數依賴性比較高。

總結

以上是生活随笔為你收集整理的深度学习笔记整理（五）——提高泛化能力的方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。