神經(jīng)元的工作模型存在“激活（1）”和“抑制（0）”兩種狀態(tài)的跳變，那么理想的激活函數(shù)就應(yīng)該是如圖 6-7（a）所示的階躍函數(shù)。

但事實(shí)上，在實(shí)際使用中，這類函數(shù)具有不光滑、不連續(xù)等眾多不“友好”的特性，使用得并不廣泛。為什么說它“不友好”呢，這是因?yàn)樵谟?xùn)練網(wǎng)絡(luò)權(quán)重時(shí)，通常依賴對(duì)某個(gè)權(quán)重求偏導(dǎo)、尋極值，而不光滑、不連續(xù)等通常意味著該函數(shù)無法“連續(xù)可導(dǎo)”。

因此，我們通常用 sigmoid()函數(shù)來代替階躍函數(shù)，如圖 6-7（b）所示。無論輸入值（x）的范圍有多大，這個(gè)函數(shù)都可以將輸出擠壓在[0,1]范圍之內(nèi)，故此這個(gè)函數(shù)又被稱為“擠壓函數(shù)（Squashing Function )”。

那么，我們應(yīng)該怎樣理解激活函數(shù)呢？實(shí)際上，我們還是能從生活中找到相似的影子的（理論，本來就源自人們對(duì)生活的抽象）。

比如，如果你的“野蠻女友”打你耳光，當(dāng)她打你第一個(gè)耳光時(shí)，你想了很多，考慮她的長(zhǎng)相（權(quán)重 wy)、身材（權(quán)重 wg）、學(xué)歷（權(quán)重wg）、性格（權(quán)重 we）、你愛她的程度（權(quán)重 ws）以及娶媳婦的難度（權(quán)重 we）等因素（這些因素，在機(jī)器學(xué)習(xí)領(lǐng)域，就是研究對(duì)象的特征，它們組合在一起就構(gòu)成了對(duì)象的特征空間)。

綜合衡量后，你決定忍了，或者說這一切并沒有超出你忍耐的閾值（這期間，你也給自己找了一個(gè)優(yōu)雅的臺(tái)階：打是親，罵是愛)。如果把你的忍耐“功能”看作一個(gè)函數(shù)（回顧一下前面的介紹可以了解，“項(xiàng)能”和“函數(shù)”本來就是一個(gè)概念——Function)，那么在這種場(chǎng)景下，相當(dāng)于你的函數(shù)輸出為0，目前還處于沒有被激活狀態(tài)。

當(dāng)她打你第二個(gè)耳光時(shí)，你又想了很多，依然忍了，但上述因素的權(quán)重都開始調(diào)整了，比如性格權(quán)重下降，愛她的程度權(quán)重下降等。

……

當(dāng)她打你第n個(gè)耳光時(shí)，你終于忍不了了，這時(shí)函數(shù)輸出超出了閾值，你可能揚(yáng)長(zhǎng)而去，也可能哭著喊“要打，也別老打臉啊”。

參考文獻(xiàn)：《深度學(xué)習(xí)之美:AI時(shí)代的數(shù)據(jù)處理與最佳實(shí)踐》

猜你喜歡：👇🏻
?【隨筆】深度學(xué)習(xí)之美——楊家有女初長(zhǎng)成，養(yǎng)在深閨人未識(shí)
?【隨筆】卷積神經(jīng)網(wǎng)絡(luò)中的卷積怎么卷？
?【隨筆】通用近似定理

總結(jié)

以上是生活随笔為你收集整理的【随笔】激活函数是怎样一种存在？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。