推薦閱讀時(shí)間8min~13min

主要內(nèi)容：通俗理解激活函數(shù)，主要來(lái)自我在學(xué)習(xí)會(huì)的slides，講解了激活函數(shù)的非線性能力和組合特征的作用

下面我分別對(duì)激活函數(shù)的兩個(gè)作用進(jìn)行解釋。

1加入非線性因素，解決非線性問(wèn)題

好吧，很容易能夠看出，我給出的樣本點(diǎn)根本不是線性可分的，一個(gè)感知器無(wú)論得到的直線怎么動(dòng)，都不可能完全正確的將三角形與圓形區(qū)分出來(lái)，那么我們很容易想到用多個(gè)感知器來(lái)進(jìn)行組合，以便獲得更大的分類問(wèn)題，好的，下面我們上圖，看是否可行

好的，我們已經(jīng)得到了多感知器分類器了，那么它的分類能力是否強(qiáng)大到能將非線性數(shù)據(jù)點(diǎn)正確分類開呢~我們來(lái)分析一下：

如果我們的每一個(gè)結(jié)點(diǎn)加入了階躍函數(shù)作為激活函數(shù)的話，就是上圖描述的

那么隨著不斷訓(xùn)練優(yōu)化，我們也就能夠解決非線性的問(wèn)題了~

所以到這里為止，我們就解釋了這個(gè)觀點(diǎn)，加入激活函數(shù)是用來(lái)加入非線性因素的，解決線性模型所不能解決的問(wèn)題。

下面我來(lái)講解另一個(gè)作用

2?激活函數(shù)可以用來(lái)組合訓(xùn)練數(shù)據(jù)的特征，特征的充分組合

我們可以通過(guò)上圖可以看出，立方激活函數(shù)已經(jīng)將輸入的特征進(jìn)行相互組合了。

通過(guò)泰勒展開，我們可以看到，我們已經(jīng)構(gòu)造出立方激活函數(shù)的形式了。

于是我們可以總結(jié)如下：

3總結(jié)

這就把原來(lái)需要領(lǐng)域知識(shí)的專家對(duì)特征進(jìn)行組合的情況，在激活函數(shù)運(yùn)算后，其實(shí)也能夠起到特征組合的作用。（只要激活函數(shù)中有能夠泰勒展開的函數(shù)，就可能起到特征組合的作用）

這也許能給我們一些思考。

總結(jié)

以上是生活随笔為你收集整理的【干货】通俗理解神经网络中激活函数作用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。