1. 神經(jīng)網(wǎng)絡(luò)示例

用圖來表示神經(jīng)網(wǎng)絡(luò)的話，如圖3-1 所示。我們把最左邊的一列稱為輸入層，最右邊的一列稱為輸出層，中間的一列稱為中間層。中間層有時也稱為隱藏層。“隱藏”一詞的意思是，隱藏層的神經(jīng)元（和輸入層、輸出層不同）肉眼看不見。

注意：圖 3-1 中的網(wǎng)絡(luò)一共由 3 層神經(jīng)元構(gòu)成，但實質(zhì)上只有 2 層神經(jīng)元有權(quán)重，因此將其稱為“2 層網(wǎng)絡(luò)”。請注意，有的書也會根據(jù)構(gòu)成網(wǎng)絡(luò)的層數(shù)，把圖 3-1 的網(wǎng)絡(luò)稱為“3 層網(wǎng)絡(luò)”。本書將根據(jù)實質(zhì)上擁有權(quán)重的層數(shù)（輸入層、隱藏層、輸出層的總數(shù)減去 1 后的數(shù)量）來表示網(wǎng)絡(luò)的名稱。

2. 感知機進(jìn)化

圖 3-2 中的感知機接收 x1 和 x2 兩個輸入信號，輸出 y 。如果用數(shù)學(xué)式來表示圖3-2 中的感知機，則如式（3.1）所示。

• b 是被稱為偏置的參數(shù)，用于控制神經(jīng)元被激活的容易程度；
• w1 和 w2 是表示各個信號的權(quán)重的參數(shù)，用于控制各個信號的重要性。

順便提一下，在圖3-2 的網(wǎng)絡(luò)中，偏置 b 并沒有被畫出來。如果要明確地表示出 b ，可以像圖3-3 那樣做。圖3-3 中添加了權(quán)重為 b 的輸入信號 1。這個感知機將 x1 、 x2 、 1 三個信號作為神經(jīng)元的輸入，將其和各自的權(quán)重相乘后，傳送至下一個神經(jīng)元。在下一個神經(jīng)元中，計算這些加權(quán)信號的總和。如果這個總和超過 0，則輸出 1，否則輸出 0。另外，由于偏置的輸入信號一直是 1 ，所以為了區(qū)別于其他神經(jīng)元，我們在圖中把這個神經(jīng)元整個涂成灰色。

現(xiàn)在將式（3.1）改寫成更加簡潔的形式。為了簡化式（3.1），我們用一個函數(shù)來表示這種分情況的動作（超過 0 則輸出 1，否則輸出 0）。引入新函數(shù) h(x) ，將式（3.1）改寫成下面的式（3.2）和式（3.3）。

式（3.2）中，輸入信號的總和會被函數(shù) h(x) 轉(zhuǎn)換，轉(zhuǎn)換后的值就是輸出 y 。然后，式（3.3）所表示的函數(shù) h(x) ，在輸入超過 0 時返回 1，否則返回 0。因此，式（3.1）和式（3.2）、式（3.3）做的是相同的事情。

3. 引入激活函數(shù)

剛才登場的 h(x) 函數(shù)會將輸入信號的總和轉(zhuǎn)換為輸出信號，這種函數(shù)一般稱為激活函數(shù)（ activation function ）。如“激活”一詞所示，激活函數(shù)的作用在于決定如何來激活輸入信號的總和。

現(xiàn)在來進(jìn)一步改寫式（3.2）。式（3.2）分兩個階段進(jìn)行處理，先計算輸入信號的加權(quán)總和，然后用激活函數(shù)轉(zhuǎn)換這一總和。因此，如果將式（3.2）寫得詳細(xì)一點，則可以分成下面兩個式子。

首先，式（3.4）計算加權(quán)輸入信號和偏置的總和，記為 a 。
然后，式（3.5）用 h() 函數(shù)將 a 轉(zhuǎn)換為輸出 y 。

之前的神經(jīng)元都是用一個 ○ 表示的，如果要在圖中明確表示出式（3.4）和式（3.5），則可以像圖3-4 這樣做。

如圖3-4 所示，表示神經(jīng)元的 ○ 中明確顯示了激活函數(shù)的計算過程，即信號的加權(quán)總和為節(jié)點 a ，然后節(jié)點 a 被激活函數(shù) h() 轉(zhuǎn)換成節(jié)點 y 。

本書中，“神經(jīng)元”和“節(jié)點”兩個術(shù)語的含義相同。這里，我們稱 a 和 y 為“節(jié)點”，其實它和之前所說的“神經(jīng)元”含義相同。

通常如圖3-5 的左圖所示，神經(jīng)元用一個 ○ 表示。本書中，在可以明確神經(jīng)網(wǎng)絡(luò)的動作的情況下，將在圖中明確顯示激活函數(shù)的計算過程，如圖3-5的右圖所示。

注意：一般而言：

• “樸素感知機”是指單層網(wǎng)絡(luò)，指的是激活函數(shù)使用了階躍函數(shù) A 的模型。
• “多層感知機”是指神經(jīng)網(wǎng)絡(luò)，即使用 sigmoid 函數(shù)等平滑的激活函數(shù)的多層網(wǎng)絡(luò)。

參考：《深度學(xué)習(xí)入門：基于Python的理論與實現(xiàn)》

總結(jié)

以上是生活随笔為你收集整理的机器学习入门（02）— 由感知机到神经网络的过渡进化，激活函数在神经网络中的作用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。