推薦閱讀時間8min~13min

主要內容：通俗理解激活函數，主要來自我在學習會的slides，講解了激活函數的非線性能力和組合特征的作用

下面我分別對激活函數的兩個作用進行解釋。

1加入非線性因素，解決非線性問題

好吧，很容易能夠看出，我給出的樣本點根本不是線性可分的，一個感知器無論得到的直線怎么動，都不可能完全正確的將三角形與圓形區(qū)分出來，那么我們很容易想到用多個感知器來進行組合，以便獲得更大的分類問題，好的，下面我們上圖，看是否可行

好的，我們已經得到了多感知器分類器了，那么它的分類能力是否強大到能將非線性數據點正確分類開呢~我們來分析一下：

如果我們的每一個結點加入了階躍函數作為激活函數的話，就是上圖描述的

那么隨著不斷訓練優(yōu)化，我們也就能夠解決非線性的問題了~

所以到這里為止，我們就解釋了這個觀點，加入激活函數是用來加入非線性因素的，解決線性模型所不能解決的問題。

下面我來講解另一個作用

2?激活函數可以用來組合訓練數據的特征，特征的充分組合

我們可以通過上圖可以看出，立方激活函數已經將輸入的特征進行相互組合了。

通過泰勒展開，我們可以看到，我們已經構造出立方激活函數的形式了。

于是我們可以總結如下：

3總結

這就把原來需要領域知識的專家對特征進行組合的情況，在激活函數運算后，其實也能夠起到特征組合的作用。（只要激活函數中有能夠泰勒展開的函數，就可能起到特征組合的作用）

這也許能給我們一些思考。

總結

以上是生活随笔為你收集整理的【干货】通俗理解神经网络中激活函数作用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。