08softmax分類器

sigmoid函數

softmax分類器：

Softmax的輸出（歸一化的分類概率）
歸一化參見：python人工智能——機器學習——特征工程 5.數據的特征預處理

損失函數：交叉熵損失（cross-entropy loss）

被稱作softmax 函數
其輸入值是一個向量，向量中元素為任意實數的評分值。

輸出一個向量，其中每個元素值在0到1之間，且所有元素之和。

softmax分類的損失函數

損失函數對比

09最優化形象解讀

結合人下山的方式考慮，找到一種下山最快的路徑。

10梯度下降算法原理

跟隨梯度

11反向傳播

參見：PaddlePaddle訓練營——公開課——AI核心技術掌握——第1章邁入現代人工智能的大門——深度學習的基礎算法——反向傳播算法簡介

12神經網絡整體架構

神經網絡

激活函數

由于sigmoid會發生梯度消失，因此已經淘汰。

現在常用的激活函數

單層神經網絡

雙層神經網絡

n層神經網絡

13神經網絡模型實例演示

layer_defs = []; layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:2}); layer_defs.push({type:'fc', num_neurons:7, activation: 'tanh'}); layer_defs.push({type:'fc', num_neurons:7, activation: 'tanh'}); layer_defs.push({type:'softmax', num_classes:2});net = new convnetjs.Net(); net.makeLayers(layer_defs);trainer = new convnetjs.SGDTrainer(net, {learning_rate:0.01, momentum:0.1, batch_size:10, l2_decay:0.001});

簡單數據

圓形數據

螺旋數據

隨機數據

ConvnetJS demo: toy 2d classification with 2-layer neural network

14過擬合問題解決方案

正則化項在神經網絡中的重要作用

越多的神經元，就越能夠表達能復雜的，但是神經元太多會導致過擬合現象，并不能很好的體現泛性的概念，因此要優化正則化項。

數據預處理

參見：python人工智能——機器學習——數據的降維
參見：python人工智能——機器學習——特征工程 5.數據的特征預處理

權重初始化

權重要隨機初始化！b要全零初始化！

DROP-OUT

解決過擬合的問題

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的深度学习——02、深度学习入门 8-14的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。