我們以圖 3-15 的3 層神經網絡為對象，實現從輸入到輸出的（前向）處理。在代碼實現方面，使用上一節介紹的 NumPy 多維數組。

1. 符號定義

2. 各層之間信號傳遞

從輸入層到第 1 層的 第1 個神經元的信號傳遞過程，如圖 3-17 所示。

圖 3-17 中增加了表示偏置的神經元 “1”。請注意，偏置的右下角的索引號只有一個。這是因為前一層的偏置神經元（神經元“1”）只有一個。

用代碼實現上述過程：

In [1]: import numpy as npIn [2]: X = np.array([1.0, 0.5])In [3]: W1 = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])In [5]: B1 = np.array([0.1, 0.2, 0.3])In [6]: A1 = np.dot(X, W1) + B1In [7]: A1
Out[7]: array([0.3, 0.7, 1.1])In [8]: 

我們觀察第1 層中激活函數的計算過程。如果把這個計算過程用圖來表示的話，則如圖 3-18 所示。

如圖3-18 所示，隱藏層的加權和（加權信號和偏置的總和）用 a 表示，被激活函數轉換后的信號用 z 表示。此外，圖中 h() 表示激活函數，這里我們使用的是sigmoid 函數。代碼如下所示。

In [8]: def sigmoid(x):...:     return 1/(1+np.exp(-x))...:     In [12]: Z1 = sigmoid(A1)In [13]: Z1
Out[13]: array([0.57444252, 0.66818777, 0.75026011])

下面，我們來實現第 1 層到第 2 層的信號傳遞（圖3-19）

In [14]: W2 = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])In [15]: B2 = np.array([0.1, 0.2])In [16]: A2 = np.dot(Z1, W2) + B2 In [17]: Z2 = sigmoid(A2)In [18]: Z2
Out[18]: array([0.62624937, 0.7710107 ])In [19]: 

最后是第 2 層到輸出層的信號傳遞（圖 3-20）。輸出層的實現也和之前的實現基本相同。不過，最后的激活函數和之前的隱藏層有所不同。

In [18]: def identity_function(x):...:     return x
In [19]: 
In [20]: W3 = np.array([[0.1, 0.3], [0.2, 0.4]])In [21]: B3 = np.array([0.1, 0.2])In [22]: Z3 = np.dot(Z2, W3) + B3In [23]: Z3
Out[23]: array([0.31682708, 0.69627909])In [24]: Y = identify_function(Z3)In [25]: Y
Out[25]: array([0.31682708, 0.69627909])In [26]: 

這里我們定義了 identity_function() 函數（也稱為“恒等函數”），并將其作為輸出層的激活函數。恒等函數會將輸入按原樣輸出，因此，這個例子中沒有必要特意定義identity_function() 。這里這樣實現只是為了和之前的流程保持統一。

另外，圖 3-20 中，輸出層的激活函數用 σ() 表示，不同于隱藏層的激活函數 h() （σ 讀作 sigma ）。

輸出層所用的激活函數，要根據求解問題的性質決定。一般地，

• 回歸問題可以使用恒等函數；
• 二元分類問題可以使用 sigmoid 函數；
• 多元分類問題可以使用 softmax 函數；

3. 代碼實現總結

import numpy as npnetwork = {}def sigmoid(x):return 1/(1+np.exp(-x))def identity_function(x):return xdef init_work():network["W1"] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])network["b1"] = np.array([0.1, 0.2, 0.3])network["W2"] = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])network["b2"] = np.array([0.1, 0.2])network["W3"] = np.array([[0.1, 0.3], [0.2, 0.4]])network["b3"] = np.array([0.1, 0.2])return networkdef forward(nt, x):W1, W2, W3 = nt["W1"], nt["W2"], nt["W3"]b1, b2, b3 = nt["b1"], nt["b2"], nt["b3"]a1 = np.dot(x, W1) + b1z1 = sigmoid(a1)a2 = np.dot(z1, W2) + b2z2 = sigmoid(a2)a3 = np.dot(z2, W3) + b3y = identity_function(a3)return ynetwork = init_work()
x = np.array([1.0, 0.5])
y = forward(network, x)
print("y is {}".format(y))	# y is [0.31682708 0.69627909]

• init_network() 函數會進行權重和偏置的初始化，并將它們保存在字典變量 network中。這個字典變量 network 中保存了每一層所需的參數（權重和偏置）。
• forward() 函數中則封裝了將輸入信號轉換為輸出信號的處理過程。

forward （前向）一詞，它表示的是從輸入到輸出方向的傳遞處理。與之對應的backward 表示從輸出到輸入方向的處理。

參考：《深度學習入門：基于Python的理論與實現》

總結

以上是生活随笔為你收集整理的机器学习入门（05）— 使用 NumPy 实现 3 层简单神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。