出處：數(shù)據(jù)科學(xué)家養(yǎng)成記?深度學(xué)習(xí)筆記2：手寫一個(gè)單隱層的神經(jīng)網(wǎng)絡(luò)

筆記1中我們利用 numpy 搭建了神經(jīng)網(wǎng)絡(luò)最簡(jiǎn)單的結(jié)構(gòu)單元：感知機(jī)。筆記2將繼續(xù)學(xué)習(xí)如何手動(dòng)搭建神經(jīng)網(wǎng)絡(luò)。我們將學(xué)習(xí)如何利用 numpy 搭建一個(gè)含單隱層的神經(jīng)網(wǎng)絡(luò)。單隱層顧名思義，即僅含一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)，抑或是成為兩層網(wǎng)絡(luò)。

繼續(xù)回顧一下搭建一個(gè)神經(jīng)網(wǎng)絡(luò)的基本思路和步驟：

• 定義網(wǎng)絡(luò)結(jié)構(gòu)（指定輸出層、隱藏層、輸出層的大小）
• 初始化模型參數(shù)
• 循環(huán)操作：執(zhí)行前向傳播/計(jì)算損失/執(zhí)行后向傳播/權(quán)值更新

定義網(wǎng)絡(luò)結(jié)構(gòu)

假設(shè) X 為神經(jīng)網(wǎng)絡(luò)的輸入特征矩陣，y 為標(biāo)簽向量。則含單隱層的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如下所示：

網(wǎng)絡(luò)結(jié)構(gòu)的函數(shù)定義如下：

def layer_sizes(X, Y):n_x = X.shape[0] # size of input layern_h = 4 # size of hidden layern_y = Y.shape[0] # size of output layerreturn (n_x, n_h, n_y)

其中輸入層和輸出層的大小分別與 X 和 y 的 shape 有關(guān)。而隱層的大小可由我們手動(dòng)指定。這里我們指定隱層的大小為4。

初始化模型參數(shù)

假設(shè) W1 為輸入層到隱層的權(quán)重?cái)?shù)組、b1 為輸入層到隱層的偏置數(shù)組；W2 為隱層到輸出層的權(quán)重?cái)?shù)組，b2 為隱層到輸出層的偏置數(shù)組。于是我們定義參數(shù)初始化函數(shù)如下：

def initialize_parameters(n_x, n_h, n_y):W1 = np.random.randn(n_h, n_x)*0.01b1 = np.zeros((n_h, 1))W2 = np.random.randn(n_y, n_h)*0.01b2 = np.zeros((n_y, 1)) assert (W1.shape == (n_h, n_x)) assert (b1.shape == (n_h, 1)) assert (W2.shape == (n_y, n_h)) assert (b2.shape == (n_y, 1))parameters = {"W1": W1, "b1": b1, "W2": W2, "b2": b2} return parameters

其中對(duì)權(quán)值的初始化我們利用了 numpy 中的生成隨機(jī)數(shù)的模塊 np.random.randn ，偏置的初始化則使用了 np.zero 模塊。通過設(shè)置一個(gè)字典進(jìn)行封裝并返回包含初始化參數(shù)之后的結(jié)果。

前向傳播

在定義好網(wǎng)絡(luò)結(jié)構(gòu)并初始化參數(shù)完成之后，就要開始執(zhí)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程了。而訓(xùn)練的第一步則是執(zhí)行前向傳播計(jì)算。假設(shè)隱層的激活函數(shù)為 tanh 函數(shù)， 輸出層的激活函數(shù)為 sigmoid 函數(shù)。則前向傳播計(jì)算表示為：

定義前向傳播計(jì)算函數(shù)為：

def forward_propagation(X, parameters):# Retrieve each parameter from the dictionary "parameters"W1 = parameters['W1']b1 = parameters['b1']W2 = parameters['W2']b2 = parameters['b2'] # Implement Forward Propagation to calculate A2 (probabilities)Z1 = np.dot(W1, X) + b1A1 = np.tanh(Z1)Z2 = np.dot(W2, Z1) + b2A2 = sigmoid(Z2) assert(A2.shape == (1, X.shape[1]))cache = {"Z1": Z1, "A1": A1, "Z2": Z2, "A2": A2} return A2, cache

從參數(shù)初始化結(jié)果字典里取到各自的參數(shù)，然后執(zhí)行一次前向傳播計(jì)算，將前向傳播計(jì)算的結(jié)果保存到cache 這個(gè)字典中， 其中 A2 為經(jīng)過 sigmoid 激活函數(shù)激活后的輸出層的結(jié)果。

計(jì)算當(dāng)前訓(xùn)練損失

前向傳播計(jì)算完成后我們需要確定以當(dāng)前參數(shù)執(zhí)行計(jì)算后的的輸出與標(biāo)簽值之間的損失大小。與筆記1一樣，損失函數(shù)同樣選擇為交叉熵?fù)p失：

定義計(jì)算損失函數(shù)為：

def compute_cost(A2, Y, parameters):m = Y.shape[1] # number of example# Compute the cross-entropy costlogprobs = np.multiply(np.log(A2),Y) + np.multiply(np.log(1-A2), 1-Y)cost = -1/m * np.sum(logprobs)cost = np.squeeze(cost) # makes sure cost is the dimension we expect.assert(isinstance(cost, float)) return cost

執(zhí)行反向傳播

當(dāng)前向傳播和當(dāng)前損失確定之后，就需要繼續(xù)執(zhí)行反向傳播過程來調(diào)整權(quán)值了。中間涉及到各個(gè)參數(shù)的梯度計(jì)算，具體如下圖所示：

根據(jù)上述梯度計(jì)算公式定義反向傳播函數(shù)：

def backward_propagation(parameters, cache, X, Y):m = X.shape[1] # First, retrieve W1 and W2 from the dictionary "parameters".W1 = parameters['W1']W2 = parameters['W2'] # Retrieve also A1 and A2 from dictionary "cache".A1 = cache['A1']A2 = cache['A2'] # Backward propagation: calculate dW1, db1, dW2, db2. dZ2 = A2-YdW2 = 1/m * np.dot(dZ2, A1.T)db2 = 1/m * np.sum(dZ2, axis=1, keepdims=True)dZ1 = np.dot(W2.T, dZ2)*(1-np.power(A1, 2))dW1 = 1/m * np.dot(dZ1, X.T)db1 = 1/m * np.sum(dZ1, axis=1, keepdims=True)grads = {"dW1": dW1,"db1": db1, "dW2": dW2, "db2": db2} return grads

將各參數(shù)的求導(dǎo)計(jì)算結(jié)果放入字典 grad 進(jìn)行返回。

這里需要提一下的是涉及到的關(guān)于數(shù)值優(yōu)化方面的知識(shí)。在機(jī)器學(xué)習(xí)中，當(dāng)所學(xué)問題有了具體的形式之后，機(jī)器學(xué)習(xí)就會(huì)形式化為一個(gè)求優(yōu)化的問題。不論是梯度下降法、隨機(jī)梯度下降、牛頓法、擬牛頓法，抑或是 Adam 之類的高級(jí)的優(yōu)化算法，這些都需要花時(shí)間掌握去掌握其數(shù)學(xué)原理。

權(quán)值更新

迭代計(jì)算的最后一步就是根據(jù)反向傳播的結(jié)果來更新權(quán)值了，更新公式如下：

由該公式可以定義權(quán)值更新函數(shù)為：

def update_parameters(parameters, grads, learning_rate = 1.2):# Retrieve each parameter from the dictionary "parameters"W1 = parameters['W1']b1 = parameters['b1']W2 = parameters['W2']b2 = parameters['b2'] # Retrieve each gradient from the dictionary "grads"dW1 = grads['dW1']db1 = grads['db1']dW2 = grads['dW2']db2 = grads['db2'] # Update rule for each parameterW1 -= dW1 * learning_rateb1 -= db1 * learning_rateW2 -= dW2 * learning_rateb2 -= db2 * learning_rateparameters = {"W1": W1, "b1": b1, "W2": W2, "b2": b2} return parameters

這樣，前向傳播-計(jì)算損失-反向傳播-權(quán)值更新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程就算部署完成了。當(dāng)前了，跟筆記1一樣，為了更加 pythonic 一點(diǎn)，我們也將各個(gè)模塊組合起來，定義一個(gè)神經(jīng)網(wǎng)絡(luò)模型：

def nn_model(X, Y, n_h, num_iterations = 10000, print_cost=False):np.random.seed(3)n_x = layer_sizes(X, Y)[0]n_y = layer_sizes(X, Y)[2] # Initialize parameters, then retrieve W1, b1, W2, b2. Inputs: "n_x, n_h, n_y". Outputs = "W1, b1, W2, b2, parameters".parameters = initialize_parameters(n_x, n_h, n_y)W1 = parameters['W1']b1 = parameters['b1']W2 = parameters['W2']b2 = parameters['b2'] # Loop (gradient descent)for i in range(0, num_iterations): # Forward propagation. Inputs: "X, parameters". Outputs: "A2, cache".A2, cache = forward_propagation(X, parameters) # Cost function. Inputs: "A2, Y, parameters". Outputs: "cost".cost = compute_cost(A2, Y, parameters) # Backpropagation. Inputs: "parameters, cache, X, Y". Outputs: "grads".grads = backward_propagation(parameters, cache, X, Y) # Gradient descent parameter update. Inputs: "parameters, grads". Outputs: "parameters".parameters = update_parameters(parameters, grads, learning_rate=1.2) # Print the cost every 1000 iterationsif print_cost and i % 1000 == 0: print ("Cost after iteration %i: %f" %(i, cost)) return parameters

以上便是本節(jié)的主要內(nèi)容，利用 numpy 手動(dòng)搭建一個(gè)含單隱層的神經(jīng)網(wǎng)路。從零開始寫起，打牢基礎(chǔ)，待到結(jié)構(gòu)熟練，原理吃透，再去接觸一些主流的深度學(xué)習(xí)框架才是學(xué)習(xí)深度學(xué)習(xí)的最佳途徑。

參考資料：

https://www.coursera.org/learn/machine-learning

https://www.deeplearning.ai/

總結(jié)

以上是生活随笔為你收集整理的深度学习笔记：手写一个单隐层的神经网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。