過擬合：

過擬合是機器學習中一個常見的問題，它是指模型預測準確率在訓練集上升高，在測試集上反而下降，這通常意味著泛化性不好，模型只是記憶了當前數據的特征，不具備推廣能力。

解決辦法：Hinton提出的dropout，在使用復雜的cnn訓練圖像數據時尤為有效，大致思路是在訓練時，將網絡某一層的輸出節點數據隨機丟棄一部分（可以理解為將一整圖片上50%的點變成黑點），每次丟棄節點可以看做是對特征的一種采樣，相當于我們訓練了一個ensemble的神經網絡模型，對每個樣本都做特征采樣，只不多沒有訓練多個神經網絡，只有一個融合的神經網絡。

參數調試：

神經網絡通常不是一個凸優化的問題，他處處充滿著局部最優（比如在我的網絡中，lr設置為0.00001，過于小，因此它就跳不出這個坑坑，很快就收斂，這就是局部最小值，當我改變成0.0001時，我的loss開始重新震蕩，恢復正常），不同的lr可能導致神經網絡落入截然不同的局部最優之中。SGD需要對學習速率等參數進行較為復雜的調試，而adagrad，adam，adadelta等自適應的方法可以減輕調試參數的負擔。

梯度彌散：（梯度消失）

relu函數在坐標軸上是一條折線，信號在超過某個閾值時，神經元才會進入興奮和活躍狀態，平時處于抑制狀態。relu可以很好地傳遞梯度，經過多層的反向傳播，梯度依舊不會大幅縮小，因此非常合適訓練較深的網絡。，在實踐中大部分情況下，將隱藏層的激活函數從sigmoid替換為relu都可以帶來訓練速度及模型準確率的提升，當然神經網絡的輸出層一般還是sigmoid函數，因為他最接近概率輸出分布。

?

CNN概念之局部連接，權值共享，降采樣：

1.局部連接：

圖片中的 像素點有空間相似性。每一個神經元不需要接受某張圖片全部像素的信息，只需要接受局部像素點作為輸入，而后，神經元將所有這些神經元接收到的信息綜合起來就可以得到全局信息。

2.權值共享：

輸入層和隱藏層的連接方式是卷積操作，即默認每一個隱藏節點到同一個神經元的參數都完全一樣，這一層所有的參數即卷積核的尺寸，因此不論隱藏節點或圖片有多大，參數量只和卷積核大小有關。

每一個卷積核都是圖像一類特征的映射，即一個feature map。卷積核數量越多，能夠抽象出來的高階特征越多。

3.

轉載于:https://www.cnblogs.com/nkh222/p/8116696.html

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的tensorflow基础的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。