什么是深度學(xué)習(xí)，與傳統(tǒng)機器學(xué)習(xí)算法的區(qū)別？

（1）傳統(tǒng)機器學(xué)習(xí)算法，在一開始，性能（識別率）會隨著數(shù)據(jù)的增加而增加，但一段時間后，它的性能會進入平臺期。這些模型無法處理海量數(shù)據(jù)。
（2）最近20年來，人類建立了數(shù)字王國，使得我們在電腦、網(wǎng)站、手機上的活動，都制造大量數(shù)據(jù)。便宜的相機、傳感器，也產(chǎn)生大量數(shù)據(jù)。
（3）不同規(guī)模的網(wǎng)絡(luò)，取得的性能也會有不同（具體如下）。

深度學(xué)習(xí)是一種特殊的機器學(xué)習(xí)，它將現(xiàn)實世界表示為嵌套的層次概念體系（由較簡單概念間的聯(lián)系定義復(fù)雜概念，從一般抽象概括到高級抽象表示），從而獲得強大的性能與靈活性。

Deep learning is a subset of machine learning that is concerned with neural networks: how to use backpropagation and certain principles from neuroscience to more accurately model large sets of unlabelled or semi-structured data.

In that sense, deep learning represents an unsupervised learning algorithm that learns representations of data through the use of neural nets.

?

?

為什么深層神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練？

1、梯度消失。梯度消失是指通過隱藏層從后向前看，梯度會變得越來越小，說明前面層的學(xué)習(xí)會顯著慢于后面層的學(xué)習(xí)，所以學(xué)習(xí)會卡主，除非梯度變大。

梯度消失的原因：學(xué)習(xí)率的大小，網(wǎng)絡(luò)參數(shù)的初始化，激活函數(shù)的邊緣效應(yīng)等。在深層神經(jīng)網(wǎng)絡(luò)中，每一個神經(jīng)元計算得到的梯度都會傳遞給前一層，較淺層的神經(jīng)元接收到的梯度受到之前所有層梯度的影響。如果計算得到的梯度值非常小，隨著層數(shù)增多，求出的梯度更新信息將會以指數(shù)形式衰減，就會發(fā)生梯度消失。

2、梯度爆炸。在深度網(wǎng)絡(luò)或循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN）等網(wǎng)絡(luò)結(jié)構(gòu)中，梯度可在網(wǎng)絡(luò)更新的過程中不斷累積，變成非常大的梯度，導(dǎo)致網(wǎng)絡(luò)權(quán)重值的大幅更新，使得網(wǎng)絡(luò)不穩(wěn)定；在極端情況下，權(quán)重值甚至?xí)绯?#xff0c;變?yōu)镹an值，再也無法更新。

3、權(quán)重矩陣的退化導(dǎo)致模型的有效自由度減少。

參數(shù)空間中學(xué)習(xí)的退化速度減慢，導(dǎo)致減少了模型的有效維數(shù)，網(wǎng)絡(luò)的可用自由度對學(xué)習(xí)中梯度范數(shù)的貢獻不均衡，隨著相乘矩陣的數(shù)量（即網(wǎng)絡(luò)深度）的增加，矩陣的乘積變得越來越退化。在有硬飽和邊界的非線性網(wǎng)絡(luò)中（例如 ReLU 網(wǎng)絡(luò)），隨著深度增加，退化過程會變得越來越快。

神經(jīng)網(wǎng)絡(luò)模型優(yōu)化的常用方案

1、增加（減少）隱藏層的復(fù)雜度，如增加隱藏層數(shù)，調(diào)整隱藏層的神經(jīng)元個數(shù)，或者在隱藏層使用更加復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，如CNN、RNN、LSTM、GRU或者增加Attention層等等；

2、添加Dropout層，使用Dropout的原理優(yōu)化網(wǎng)絡(luò)參數(shù)，防止過擬合；

3、嘗試不同的優(yōu)化器，常用的優(yōu)化器包括SGD、Adam、RMSprop（動量相關(guān)）；

4、增加迭代次數(shù)，一般為了快速檢驗?zāi)Ｐ托Ч?xùn)練次數(shù)比較少，優(yōu)化過程中可以增加訓(xùn)練次數(shù)；

5、調(diào)整優(yōu)化器的學(xué)習(xí)率，學(xué)習(xí)率太小會造成模型收斂速度下降，還有可能求出的是局部最優(yōu)解，訓(xùn)練模型時的損失函數(shù)下降慢；學(xué)習(xí)率過大會引起模型無法到達最優(yōu)解，在最優(yōu)解附近來回跳轉(zhuǎn)，但是一般情況下學(xué)習(xí)率并不是一成不變的，而是隨著模型的訓(xùn)練在優(yōu)化；

6、增加批處理的大小，采用批處理的方式訓(xùn)練數(shù)據(jù)時每個batch的數(shù)據(jù)進行一次反向傳播，更新參數(shù)，所以每個batch的數(shù)據(jù)分布對模型訓(xùn)練有著一定的影響，調(diào)整batch_size的大小，對模型優(yōu)化有一定的作用；

7、正則化，可以優(yōu)化模型太過復(fù)雜而引起運行時間過長的問題，也可以在一定程度上防止模型過擬合。（過擬合也就是模型把訓(xùn)練數(shù)據(jù)的內(nèi)部關(guān)系都記下來了，在訓(xùn)練集損失函數(shù)很小，但是在測試集上損失函數(shù)開始增大，也就是在測試集上的效果開始下降）

?

激活函數(shù)

1. 激活函數(shù)有哪些性質(zhì)

非線性

可微性：當(dāng)優(yōu)化方法是基于梯度的時候，就體現(xiàn)了該性質(zhì)；

單調(diào)性：當(dāng)激活函數(shù)是單調(diào)的時候，單層網(wǎng)絡(luò)能夠保證是凸函數(shù)；

f(x)≈x：當(dāng)激活函數(shù)滿足這個性質(zhì)的時候，如果參數(shù)的初始化是隨機的較小值，那么神經(jīng)網(wǎng)絡(luò)的訓(xùn)練將會很高效；如果不滿足這個性質(zhì)，那么就需要詳細(xì)地去設(shè)置初始值；

輸出值的范圍：當(dāng)激活函數(shù)輸出值是有限的時候，基于梯度的優(yōu)化方法會更加穩(wěn)定，因為特征的表示受有限權(quán)值的影響更顯著；當(dāng)激活函數(shù)的輸出是無限的時候，模型的訓(xùn)練會更加高效，不過在這種情況小，一般需要更小的 Learning Rate。

2. 為什么需要非線性激活函數(shù)

激活函數(shù)可以把當(dāng)前特征空間通過一定的線性映射轉(zhuǎn)換到另一個空間，學(xué)習(xí)和模擬其他復(fù)雜類型的數(shù)據(jù)，例如圖像、視頻、音頻、語音等。

假若網(wǎng)絡(luò)中全部是線性部件，那么線性的組合還是線性，與單獨一個線性分類器無異。這樣就做不到用非線性來逼近任意函數(shù)。

使用非線性激活函數(shù) ，以便使網(wǎng)絡(luò)更加強大，增加它的能力，使它可以學(xué)習(xí)復(fù)雜的事物，復(fù)雜的表單數(shù)據(jù)，以及表示輸入輸出之間非線性的復(fù)雜的任意函數(shù)映射。使用非線性激活函數(shù)，能夠從輸入輸出之間生成非線性映射。

3. 如何選擇激活函數(shù)

如果輸出是 0、1 值（二分類問題），則輸出層選擇 sigmoid 函數(shù)，然后其它的所有單元都選擇 Relu 函數(shù)。

如果在隱藏層上不確定使用哪個激活函數(shù)，那么通常會使用 Relu 激活函數(shù)。有時，也會使用 tanh 激活函數(shù)，但 Relu 的一個優(yōu)點是：當(dāng)是負(fù)值的時候，導(dǎo)數(shù)等于 0。

sigmoid 激活函數(shù)：除了輸出層是一個二分類問題基本不會用它。

tanh 激活函數(shù)：tanh 是非常優(yōu)秀的，幾乎適合所有場合。

如果遇到了一些死的神經(jīng)元，我們可以使用 Leaky ReLU 函數(shù)。

3. ReLu激活函數(shù)的優(yōu)點

sigmoid 和 tanh 函數(shù)的導(dǎo)數(shù)在正負(fù)飽和區(qū)的梯度都會接近于 0，這會造成梯度彌散，而 Relu 和Leaky ReLu 函數(shù)大于 0 部分都為常數(shù)，不會產(chǎn)生梯度彌散現(xiàn)象。

在區(qū)間變動很大的情況下，ReLu 激活函數(shù)的導(dǎo)數(shù)或者激活函數(shù)的斜率都會遠(yuǎn)大于 0，在程序?qū)崿F(xiàn)就是一個 if-else 語句，而 sigmoid 函數(shù)需要進行浮點四則運算，在實踐中，使用 ReLu 激活函數(shù)神經(jīng)網(wǎng)絡(luò)通常會比使用 sigmoid 或者 tanh 激活函數(shù)學(xué)習(xí)的更快。

需注意，Relu 進入負(fù)半?yún)^(qū)的時候，梯度為 0，神經(jīng)元此時不會訓(xùn)練，產(chǎn)生所謂的稀疏性，而 Leaky ReLu 不會產(chǎn)生這個問題。

稀疏激活性：從信號方面來看，即神經(jīng)元同時只對輸入信號的少部分選擇性響應(yīng)，大量信號被刻意的屏蔽了，這樣可以提高學(xué)習(xí)的精度，更好更快地提取稀疏特征。當(dāng) ?x<0 ?時，ReLU 硬飽和，而當(dāng) x>0 ?時，則不存在飽和問題。ReLU 能夠在 ?x>0 ?時保持梯度不衰減，從而緩解梯度消失問題。

4. 為什么Tanh收斂速度比Sigmoid快？

由上面兩個公式可知tanh(x)梯度消失的問題比sigmoid輕，所以Tanh收斂速度比Sigmoid快。

?

為什么在神經(jīng)網(wǎng)絡(luò)中，ReLU是比Sigmoid更好、更常用的激活函數(shù)?

??

?

交叉熵?fù)p失函數(shù)及其求導(dǎo)推導(dǎo)

定義：

將交叉熵看做是代價函數(shù)有兩點原因。

第?，它是?負(fù)的， C > 0。可以看出：式子中的求和中的所有獨?的項都是負(fù)數(shù)的，因為對數(shù)函數(shù)的定義域是 (0，1)，并且求和前?有?個負(fù)號，所以結(jié)果是非負(fù)。

第?，如果對于所有的訓(xùn)練輸? x，神經(jīng)元實際的輸出接近?標(biāo)值，那么交叉熵將接近 0。實際輸出和?標(biāo)輸出之間的差距越?，最終的交叉熵的值就越低了。（這里假設(shè)輸出結(jié)果不是0，就是1，實際分類也是這樣的）

交叉熵代價函數(shù)有?個??次代價函數(shù)更好的特性就是它避免了學(xué)習(xí)速度下降的問題。

交叉熵函數(shù)關(guān)于權(quán)重的偏導(dǎo)數(shù)：

化簡后得到：

可以看到圈中學(xué)習(xí)的速度受到??，也就是輸出中的誤差的控制。更?的誤差，更快的學(xué)習(xí)速度，特別地，這個代價函數(shù)還避免了像在?次代價函數(shù)中類似?程中??導(dǎo)致的學(xué)習(xí)緩慢。當(dāng)我們使?交叉熵的時候，?

?被約掉了，所以我們不再需要關(guān)?它是不是變得很?。這種約除就是交叉熵帶來的特效。??

Batch_Size

1. 為什么需要 Batch_Size？

Batch的選擇，首先決定的是下降的方向。

如果數(shù)據(jù)集比較小，可采用全數(shù)據(jù)集的形式，好處是：

由全數(shù)據(jù)集確定的方向能夠更好地代表樣本總體，從而更準(zhǔn)確地朝向極值所在的方向。

由于不同權(quán)重的梯度值差別巨大，因此選取一個全局的學(xué)習(xí)率很困難。Full Batch Learning 可以使用 Rprop 只基于梯度符號并且針對性單獨更新各權(quán)值。

對于更大的數(shù)據(jù)集，假如采用全數(shù)據(jù)集的形式，壞處是：

隨著數(shù)據(jù)集的海量增長和內(nèi)存限制，一次性載入所有的數(shù)據(jù)進來變得越來越不可行。

以 Rprop 的方式迭代，會由于各個 Batch 之間的采樣差異性，各次梯度修正值相互抵消，無法修正。這才有了后來 RMSProp 的妥協(xié)方案。

2. Batch_Size 值的選擇

假如每次只訓(xùn)練一個樣本，即 Batch_Size = 1。線性神經(jīng)元在均方誤差代價函數(shù)的錯誤面是一個拋物面，橫截面是橢圓。對于多層神經(jīng)元、非線性網(wǎng)絡(luò)，在局部依然近似是拋物面。此時，每次修正方向以各自樣本的梯度方向修正，橫沖直撞各自為政，難以達到收斂。

既然 Batch_Size 為全數(shù)據(jù)集或者Batch_Size = 1都有各自缺點，可不可以選擇一個適中的Batch_Size值呢？

此時，可采用批梯度下降法（Mini-batches Learning）。因為如果數(shù)據(jù)集足夠充分，那么用一半（甚至少得多）的數(shù)據(jù)訓(xùn)練算出來的梯度與用全部數(shù)據(jù)訓(xùn)練出來的梯度是幾乎一樣的。

3. 在合理范圍內(nèi)，增大Batch_Size有何好處？

內(nèi)存利用率提高了，大矩陣乘法的并行化效率提高。

跑完一次 epoch（全數(shù)據(jù)集）所需的迭代次數(shù)減少，對于相同數(shù)據(jù)量的處理速度進一步加快。

在一定范圍內(nèi)，一般來說 Batch_Size 越大，其確定的下降方向越準(zhǔn)，引起訓(xùn)練震蕩越小。

4. 盲目增大 Batch_Size 有何壞處？

內(nèi)存利用率提高了，但是內(nèi)存容量可能撐不住了。

跑完一次 epoch（全數(shù)據(jù)集）所需的迭代次數(shù)減少，要想達到相同的精度，其所花費的時間大大增加了，從而對參數(shù)的修正也就顯得更加緩慢。

Batch_Size 增大到一定程度，其確定的下降方向已經(jīng)基本不再變化。

歸一化

1. 為什么要歸一化？

避免神經(jīng)元飽和。就是當(dāng)神經(jīng)元的激活在接近 0 或者 1 時會飽和，在這些區(qū)域，梯度幾乎為 0，這樣，在反向傳播過程中，局部梯度就會接近 0，這會有效地“殺死”梯度。

保證輸出數(shù)據(jù)中數(shù)值小的不被吞食。

加快收斂。數(shù)據(jù)中常存在奇異樣本數(shù)據(jù)，奇異樣本數(shù)據(jù)存在所引起的網(wǎng)絡(luò)訓(xùn)練時間增加，并可能引起網(wǎng)絡(luò)無法收斂，為了避免出現(xiàn)這種情況及后面數(shù)據(jù)處理的方便，加快網(wǎng)絡(luò)學(xué)習(xí)速度，可以對輸入信號進行歸一化，使得所有樣本的輸入信號其均值接近于 0 或與其均方差相比很小。

2. 為什么歸一化能提高求解最優(yōu)解速度

?

上圖是代表數(shù)據(jù)是否歸一化的最優(yōu)解尋解過程（圓圈可以理解為等高線）。左圖表示未經(jīng)歸一化操作的尋解過程，右圖表示經(jīng)過歸一化后的尋解過程。

當(dāng)使用梯度下降法尋求最優(yōu)解時，很有可能走“之字型”路線（垂直等高線走），從而導(dǎo)致需要迭代很多次才能收斂；而右圖對兩個原始特征進行了歸一化，其對應(yīng)的等高線顯得很圓，在梯度下降進行求解時能較快的收斂。

因此如果機器學(xué)習(xí)模型使用梯度下降法求最優(yōu)解時，歸一化往往非常有必要，否則很難收斂甚至不能收斂。

3. 歸一化有哪些類型？

1、線性歸一化

適用范圍：比較適用在數(shù)值比較集中的情況。

缺點：如果 max 和 min 不穩(wěn)定，很容易使得歸一化結(jié)果不穩(wěn)定，使得后續(xù)使用效果也不穩(wěn)定。

2、標(biāo)準(zhǔn)差歸一化

經(jīng)過處理的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布，即均值為 0，標(biāo)準(zhǔn)差為 1

3、非線性歸一化

適用范圍：經(jīng)常用在數(shù)據(jù)分化比較大的場景，有些數(shù)值很大，有些很小。通過一些數(shù)學(xué)函數(shù)，將原始值進行映射。該方法包括 log、指數(shù)，正切等。

4. 批歸一化（Batch Normalization）算法的優(yōu)點

批歸一化（BN）就是在神經(jīng)網(wǎng)絡(luò)中間層也進行歸一化處理。

優(yōu)點：

減少了人為選擇參數(shù)。在某些情況下可以取消 dropout 和 L2 正則項參數(shù),或者采取更小的 L2 正則項約束參數(shù)；

減少了對學(xué)習(xí)率的要求?，F(xiàn)在我們可以使用初始很大的學(xué)習(xí)率或者選擇了較小的學(xué)習(xí)率，算法也能夠快速訓(xùn)練收斂；

可以不再使用局部響應(yīng)歸一化。BN 本身就是歸一化網(wǎng)絡(luò)(局部響應(yīng)歸一化在 AlexNet 網(wǎng)絡(luò)中存在)

破壞原來的數(shù)據(jù)分布，一定程度上緩解過擬合（防止每批訓(xùn)練中某一個樣本經(jīng)常被挑選到，文獻說這個可以提高 1% 的精度）。

減少梯度消失，加快收斂速度，提高訓(xùn)練精度。

?

訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)很復(fù)雜，因為在訓(xùn)練過程中，隨著前幾層輸入的參數(shù)不斷變化，每層輸入的分布也隨之變化。一種方法是將每層輸入規(guī)范化，輸出函數(shù)均值為0，標(biāo)準(zhǔn)差為1。對每一層的每個小批量輸入都采用上述方式進行規(guī)范化(計算每個小批量輸入的均值和方差，然后標(biāo)準(zhǔn)化)。這和神經(jīng)網(wǎng)絡(luò)的輸入的規(guī)范化類似。

批量標(biāo)準(zhǔn)化的好處

對輸入進行規(guī)范化有助于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。但神經(jīng)網(wǎng)絡(luò)不過是一系列的層，每層的輸出又成為下一層的輸入。也就是說，我們可以將其中每一層視作子網(wǎng)絡(luò)的第一層。把神經(jīng)網(wǎng)絡(luò)想象成一系列互相傳遞信息的網(wǎng)絡(luò)結(jié)構(gòu)，因此在激活函數(shù)作用于輸出之前，先將每一層輸出規(guī)范化，再將其傳遞到下一層(子網(wǎng)絡(luò))。

?

5. Batch Normalization和Group Normalization的比較

Batch Normalization：可以讓各種網(wǎng)絡(luò)并行訓(xùn)練。但是維度進行歸一化會帶來一些問題-----批量統(tǒng)計估算不準(zhǔn)確導(dǎo)致批量變小時，BN 的誤差會迅速增加。在訓(xùn)練大型網(wǎng)絡(luò)和將特征轉(zhuǎn)移到計算機視覺任務(wù)中（包括檢測、分割和視頻），內(nèi)存消耗限制了只能使用小批量的 BN。

Group Normalization：GN將通道分組，并且每組內(nèi)計算歸一化的均值和方差。GN的計算與批量大小無關(guān)，并且其準(zhǔn)確度在各種批量大小下都很穩(wěn)定。

6. Weight Normalization和Batch Normalization比較

兩者都屬于參數(shù)重寫的方式，只是采用的方式不同。

Weight Normalization 是對網(wǎng)絡(luò)權(quán)值 W 進行 normalization；Batch Normalization 是對網(wǎng)絡(luò)某一層輸入數(shù)據(jù)進行 normalization。

Weight Normalization相比Batch Normalization有以下三點優(yōu)勢：

Weight Normalization 通過重寫深度學(xué)習(xí)網(wǎng)絡(luò)的權(quán)重W的方式來加速深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)收斂，沒有引入 minbatch 的依賴，適用于 RNN（LSTM）網(wǎng)絡(luò)（Batch Normalization 不能直接用于RNN，進行 normalization 操作，原因在于：1) RNN 處理的 Sequence 是變長的；2) RNN 是基于 time step 計算，如果直接使用 Batch Normalization 處理，需要保存每個 time step 下，mini btach 的均值和方差，效率低且占內(nèi)存）。

Batch Normalization 基于一個 mini batch 的數(shù)據(jù)計算均值和方差，而不是基于整個 Training set 來做，相當(dāng)于進行梯度計算式引入噪聲。因此，Batch Normalization 不適用于對噪聲敏感的強化學(xué)習(xí)、生成模型（Generative model：GAN，VAE）使用。相反，Weight Normalization 對通過標(biāo)量 g 和向量 v ?對權(quán)重 ?W ?進行重寫，重寫向量 v 是固定的，因此，基于 Weight Normalization 的 Normalization 可以看做比 Batch Normalization 引入更少的噪聲。

不需要額外的存儲空間來保存 mini batch 的均值和方差，同時實現(xiàn) Weight Normalization 時，對深度學(xué)習(xí)網(wǎng)絡(luò)進行正向信號傳播和反向梯度計算帶來的額外計算開銷也很小。因此，要比采用 Batch Normalization 進行 normalization 操作時，速度快。但是 Weight Normalization 不具備 Batch Normalization 把網(wǎng)絡(luò)每一層的輸出 Y 固定在一個變化范圍的作用。因此，采用 Weight Normalization 進行 Normalization 時需要特別注意參數(shù)初始值的選擇。

7.? Batch Normalization在什么時候用比較合適？

在CNN中，BN應(yīng)作用在非線性映射前。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時遇到收斂速度很慢，或梯度爆炸等無法訓(xùn)練的狀況時可以嘗試BN來解決。另外，在一般使用情況下也可以加入BN來加快訓(xùn)練速度，提高模型精度。

BN比較適用的場景是：每個mini-batch比較大，數(shù)據(jù)分布比較接近。在進行訓(xùn)練之前，要做好充分的shuffle，否則效果會差很多。另外，由于BN需要在運行過程中統(tǒng)計每個mini-batch的一階統(tǒng)計量和二階統(tǒng)計量，因此不適用于動態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)和RNN網(wǎng)絡(luò)。

???

學(xué)習(xí)率衰減常用參數(shù)有哪些

?

十 正則化

1. 為什么要正則化

深度學(xué)習(xí)可能存在過擬合問題-----高方差，有兩個解決方法，一個是正則化，另一個是準(zhǔn)備更多的數(shù)據(jù)，這是非常可靠的方法，但你可能無法時時刻刻準(zhǔn)備足夠多的訓(xùn)練數(shù)據(jù)或者獲取更多數(shù)據(jù)的成本很高，但正則化通常有助于避免過擬合或減少你的網(wǎng)絡(luò)誤差。

?

左圖是高偏差，右圖是高方差，中間是Just Right。

2. 理解dropout正則化

不要依賴于任何一個特征，因為該單元的輸入可能隨時被清除，因此該單元通過這種方式傳播下去，并為單元的四個輸入增加一點權(quán)重，通過傳播所有權(quán)重，dropout將產(chǎn)生收縮權(quán)重的平方范數(shù)的效果，和之前講的L2正則化類似；實施dropout的結(jié)果實它會壓縮權(quán)重，并完成一些預(yù)防過擬合的外層正則化；L2對不同權(quán)重的衰減是不同的，它取決于激活函數(shù)倍增的大小。

3. dropout率的選擇

1、經(jīng)過交叉驗證，隱含節(jié)點dropout率等于0.5的時候效果最好，原因是0.5的時候dropout隨機生成的網(wǎng)絡(luò)結(jié)構(gòu)最多。

2、dropout也可以被用作一種添加噪聲的方法，直接對input進行操作、輸入層設(shè)為更更接近 1 的數(shù)。使得輸入變化不會太大（0.8）

3、對參數(shù)w的訓(xùn)練進行球形限制(max-normalization)，對 dropout 的訓(xùn)練非常有用。

4、使用pretrain方法也可以幫助dropout訓(xùn)練參數(shù)，在使用dropout時，要將所有參數(shù)都乘以1/p

4. dropout有什么缺點

dropout一大缺點就是代價函數(shù)J不再被明確定義，每次迭代，都會隨機移除一些節(jié)點，如果再三檢查梯度下降的性能，實際上是很難進行復(fù)查的。定義明確的代價函數(shù)J每次迭代后都會下降，因為我們所優(yōu)化的代價函數(shù)J實際上并沒有明確定義，或者說在某種程度上很難計算，所以我們失去了調(diào)試工具來繪制這樣的圖片。我通常會關(guān)閉dropout函數(shù)，將keep-prob的值設(shè)為1，運行代碼，確保J函數(shù)單調(diào)遞減。然后打開dropout函數(shù)，希望在dropout過程中，代碼并未引入bug。我覺得你也可以嘗試其它方法，雖然我們并沒有關(guān)于這些方法性能的數(shù)據(jù)統(tǒng)計，但你可以把它們與dropout方法一起使用。

十一 如何理解 Internal Covariate Shift？

深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練為什么會很困難？其中一個重要的原因是，深度神經(jīng)網(wǎng)絡(luò)涉及到很多層的疊加，而每一層的參數(shù)更新會導(dǎo)致上層的輸入數(shù)據(jù)分布發(fā)生變化，通過層層疊加，高層的輸入分布變化會非常劇烈，這就使得高層需要不斷去重新適應(yīng)底層的參數(shù)更新。為了訓(xùn)好模型，我們需要非常謹(jǐn)慎地去設(shè)定學(xué)習(xí)率、初始化權(quán)重、以及盡可能細(xì)致的參數(shù)更新策略。

oogle 將這一現(xiàn)象總結(jié)為 Internal Covariate Shift，簡稱 ICS。什么是 ICS 呢？

大家都知道在統(tǒng)計機器學(xué)習(xí)中的一個經(jīng)典假設(shè)是“源空間（source domain）和目標(biāo)空間（target domain）的數(shù)據(jù)分布（distribution）是一致的”。如果不一致，那么就出現(xiàn)了新的機器學(xué)習(xí)問題，如 transfer learning / domain adaptation 等。而 covariate shift 就是分布不一致假設(shè)之下的一個分支問題，它是指源空間和目標(biāo)空間的條件概率是一致的，但是其邊緣概率不同。

大家細(xì)想便會發(fā)現(xiàn)，的確，對于神經(jīng)網(wǎng)絡(luò)的各層輸出，由于它們經(jīng)過了層內(nèi)操作作用，其分布顯然與各層對應(yīng)的輸入信號分布不同，而且差異會隨著網(wǎng)絡(luò)深度增大而增大，可是它們所能“指示”的樣本標(biāo)記（label）仍然是不變的，這便符合了covariate shift的定義。由于是對層間信號的分析，也即是“internal”的來由。

那么ICS會導(dǎo)致什么問題？

簡而言之，每個神經(jīng)元的輸入數(shù)據(jù)不再是“獨立同分布”。

其一，上層參數(shù)需要不斷適應(yīng)新的輸入數(shù)據(jù)分布，降低學(xué)習(xí)速度。

其二，下層輸入的變化可能趨向于變大或者變小，導(dǎo)致上層落入飽和區(qū)，使得學(xué)習(xí)過早停止。

其三，每層的更新都會影響到其它層，因此每層的參數(shù)更新策略需要盡可能的謹(jǐn)慎。

?

?

?

?

?

參考： 算法崗面試：Deep Learning 27類常見問題+解析匯總

總結(jié)

以上是生活随笔為你收集整理的[深度学习] 面试常见问题+解析汇总的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。