?

? ? 由于機(jī)器學(xué)習(xí)（包括神經(jīng)網(wǎng)絡(luò)）調(diào)參的經(jīng)驗(yàn)內(nèi)容比較多，我的回答篇幅會(huì)較長(zhǎng)些，我盡量濃縮每個(gè)知識(shí)點(diǎn)，歡迎各位討論指點(diǎn)。

?

? ? 深度神經(jīng)網(wǎng)絡(luò)，尤其是卷積神經(jīng)網(wǎng)絡(luò)（CNN）允許由多個(gè)隱藏層組成的計(jì)算模型來(lái)學(xué)習(xí)具有多個(gè)抽象層次的數(shù)據(jù)表示。這些方法大大改善了視覺對(duì)象識(shí)別，對(duì)象檢測(cè)，文本識(shí)別以及藥物發(fā)現(xiàn)和基因組學(xué)等許多領(lǐng)域的現(xiàn)狀。

?

? ? 另外，實(shí)際上在這個(gè)主題上全球已經(jīng)發(fā)表了很多實(shí)用的論文，并且已經(jīng)提供了一些高質(zhì)量的開源機(jī)器學(xué)習(xí)工具包。然而，它可能缺乏關(guān)于如何從零開始實(shí)現(xiàn)不錯(cuò)的機(jī)器學(xué)習(xí)模型的一些實(shí)踐細(xì)節(jié)。在這里將介紹一些實(shí)戰(zhàn)性的經(jīng)驗(yàn)技巧，即通過(guò)一些實(shí)用技巧用于快速構(gòu)建和優(yōu)化自己機(jī)器學(xué)習(xí)模型。

?

? ? 假設(shè)你已經(jīng)知道了機(jī)器學(xué)習(xí)的基本知識(shí)，下面我們將在機(jī)器學(xué)習(xí)模型，尤其是圖像相關(guān)任務(wù)的CNN中介紹實(shí)現(xiàn)細(xì)節(jié)（技巧或提示），主要包括6個(gè)方面：

?

? ? 激活功能的選擇；

?

? ? 數(shù)據(jù)增強(qiáng)；

?

? ? 對(duì)圖像進(jìn)行預(yù)處理；

?

? ? 網(wǎng)絡(luò)的初始化；

?

? ? 訓(xùn)練期間的技巧；

?

? ? 適當(dāng)?shù)恼?guī)化。

?

? ? 激活函數(shù)的選擇

?

? ? 深度神經(jīng)網(wǎng)絡(luò)的關(guān)鍵因素之一是激活函數(shù)，將非線性帶入網(wǎng)絡(luò)。這里將介紹一些流行的激活函數(shù)的選擇技巧，并給出一點(diǎn)建議。

?

? ? 一般神經(jīng)網(wǎng)絡(luò)可以選擇Adam，因?yàn)锳dam收斂速度的確要快一些，但結(jié)果總是不如其他優(yōu)化算法。

?

? ? Relu并不是一定比Tanh好，如果不太懂的話，用在不合適的網(wǎng)絡(luò)結(jié)構(gòu)中，可能會(huì)導(dǎo)致梯度消失。

?

? ? relu+bn。這套好基友組合是萬(wàn)精油，可以滿足95%的情況，sigmoid也可以組合搭配，但效果總是沒(méi)有比relu好。

?

? ? 訓(xùn)練期間一些技巧

?

? ? 首先考慮濾波器和池大小。在訓(xùn)練期間，輸入圖像的大小優(yōu)選為2的冪方，諸如32（例如，CIFAR-10），64，224（例如，常用的ImageNet），384或512等。此外，重要的是采用零填充的小濾波器（如3×3）和小跨度（如1），不僅減少了參數(shù)數(shù)量，而且提高了整個(gè)深度網(wǎng)絡(luò)的準(zhǔn)確率。同時(shí)，上面提到的一個(gè)特殊情況，即具有步伐為1的3×3濾波器可以保持圖像/特征圖的空間大小。對(duì)于池化層，常用的池化大小為2×2。

?

? ? 要選擇適合的學(xué)習(xí)率。建議用小批量數(shù)據(jù)(minibatch)來(lái)分割批次去訓(xùn)練。因此，如果您采取這種方法，則不應(yīng)總是更改學(xué)習(xí)率。為了獲得合適的learnigrate，利用驗(yàn)證集是一個(gè)有效的方法。通常，訓(xùn)練開始時(shí)一般學(xué)習(xí)率初設(shè)為0.1。在實(shí)踐中，如果你看到你在驗(yàn)證集上停止了進(jìn)展，把學(xué)習(xí)率除以2（或5），并繼續(xù)訓(xùn)練，這可能會(huì)給你意想不到的驚喜。

?

? ? 數(shù)據(jù)增強(qiáng)

?

? ? 由于深層網(wǎng)絡(luò)需要訓(xùn)練大量訓(xùn)練圖像才能獲得滿意的性能，如果原始圖像數(shù)據(jù)集包含有限的訓(xùn)練圖像，最好是進(jìn)行數(shù)據(jù)增強(qiáng)以提高性能。而且，在訓(xùn)練深度網(wǎng)絡(luò)時(shí)，數(shù)據(jù)增強(qiáng)成為必須要做的事情。

?

? ? 數(shù)據(jù)增強(qiáng)有許多方法，比如流行的水平翻轉(zhuǎn)，隨機(jī)作物和顏色抖動(dòng)。此外，您可以嘗試多個(gè)不同處理的組合，例如同時(shí)進(jìn)行旋轉(zhuǎn)和隨機(jī)縮放。此外，可以嘗試將所有像素的飽和度和值（HSV顏色空間的S和V分量）提高到0.25和4之間（對(duì)于片內(nèi)的所有像素都是相同的），將這些值乘以0.7和1.4，并添加到-0.1和0.1之間的值。此外，您可以在圖像/色塊中的所有像素的色調(diào)（HSV的H分量）之間添加[-0.1,0.1]之間的值。

?

? ? 對(duì)圖像進(jìn)行預(yù)處理

?

? ? 現(xiàn)在我們已經(jīng)獲得了大量的培訓(xùn)樣本（圖像），但請(qǐng)不要急！其實(shí)有必要對(duì)這些圖像/作物進(jìn)行預(yù)處理。在本節(jié)中，我們將介紹幾種預(yù)處理方法。

?

? ? 第一個(gè)簡(jiǎn)單的預(yù)處理方法是對(duì)數(shù)據(jù)進(jìn)行歸一化處理，然后對(duì)它們進(jìn)行正則化處理，這兩行代碼如下所示：

?

? ? 其中，X是輸入數(shù)據(jù)。這種預(yù)處理的另一種形式是對(duì)每個(gè)維度進(jìn)行歸一化，使維度上的最小值和最大值分別為-1和1。如果你有理由相信不同的輸入特征具有不同的尺度（或單位），那么應(yīng)用這個(gè)預(yù)處理只是有意義的，但它們應(yīng)該與學(xué)習(xí)算法大致同等重要。在圖像的情況下，像素的相對(duì)尺寸已經(jīng)近似相等（并且范圍從0到255），因此不必嚴(yán)格執(zhí)行這個(gè)額外的預(yù)處理步驟。