文章目錄

• 神經(jīng)網(wǎng)絡(luò)歷史
• 形式神經(jīng)元模型（M-P模型）
• 感知器
• • 多層感知器
• 誤差反向傳播算法
• 誤差函數(shù)和激活函數(shù)
• • 誤差函數(shù)
  • • 二次代價函數(shù)
    • 交叉熵代價函數(shù)
  • 激活函數(shù)
  • • sigmoid函數(shù)
    • RELU函數(shù)
  • 似然函數(shù)
  • • softmax函數(shù)
• 隨機梯度下降法
• • 批量學(xué)習(xí)方法
  • 在線學(xué)習(xí)
  • 小批量梯度下降法
• 學(xué)習(xí)率
• • 自適應(yīng)調(diào)整學(xué)習(xí)率---AdaGrad方法

神經(jīng)網(wǎng)絡(luò)歷史

---

• 提出形式神經(jīng)元模型(M-P模型)（1943）
• 提出感知器（1958）
• 感知器無法解決線性不可分問題（1969）

---

• 提出神經(jīng)認(rèn)知機（1980）
• 提出霍普菲爾德模型（1982）
• 提出誤差反向傳播算法（1986）
• 提出卷積神經(jīng)網(wǎng)絡(luò)（1989）

---

• 提出將 預(yù)訓(xùn)練和自編碼器 與 深度神經(jīng)網(wǎng)絡(luò) 相結(jié)合（2006）
• 提出在卷積神經(jīng)網(wǎng)絡(luò)中引入ReLU作為激活函數(shù)（2012）

---

形式神經(jīng)元模型（M-P模型）

• 多個輸入結(jié)點 $x_i$ 對應(yīng)一個輸出結(jié)點
• 每個輸入結(jié)點乘以連接權(quán)重$w_i$,相加得到 $y$
• y大于閾值h，輸出1，否則輸出0。

感知器

感知器能夠通過訓(xùn)練自動確定參數(shù)

引入誤差修正學(xué)習(xí)：根據(jù)實際輸出與期望輸出的差值調(diào)整權(quán)重 $w_i$ 和閾值 $h$。

多層感知器

由 多層結(jié)構(gòu)的感知器 遞階組成 輸入值向前傳播的網(wǎng)絡(luò)。（前饋網(wǎng)絡(luò)、正向傳播網(wǎng)絡(luò)）

通常采用三層結(jié)構(gòu)：輸入層，中間層，輸出層。

誤差反向傳播算法

通過比較實際輸出和期望輸出得到的誤差信號，把誤差信號從輸出層逐層向前傳播得到各層的誤差信號，再通過調(diào)整各層的連接權(quán)重以減小誤差。

通過實際輸出和期望輸出之間的誤差 $E$ 和梯度進行調(diào)整。

例：
$$\begin{gathered} y_1=w_{1}x+1，w_1=2 \\ {y}_2=w_2{y}_1^2，w_2=1; \end{gathered}$$
現(xiàn)輸入 $x=1$ ,期望輸出 $y_2=3$

代入求得：$y_1=2?1+1=3$，$y_2=1?3^2=10$

誤差$E$：與期望值相差 $3?10=?7$

誤差反向傳播的梯度：
$$\begin{gathered} \frac{?y_2}{?w_2}=y_1^2=9 \\ \frac{?y_2}{?w_1}=\frac{?(w_{1}x+1{)}^2}{?w_1}=2x^2{w}_1+2x=6 \\ 或 \\ =\frac{?y_2}{?y_1}\frac{?y_1}{?w_1}=2w_2{y}_1?x=6 \end{gathered}$$

梯度的意義：
$$\frac{?y}{?w}：當(dāng)w=w+△w，則y=y+\frac{?y}{?w}△w$$

已知：
$$誤差為?7，梯度\frac{?y_2}{?w_2}=9，\frac{?y_2}{?w_1}=6$$
故可修改( $\eta 表示學(xué)習(xí)率，設(shè)\eta =1$ )
$$\begin{gathered} w_1=w_1+\frac{\eta E}{\frac{?y_2}{?w_1}}=2+1?(?7)/6=2?7/6=5/6 \\ {w}_2=w_2+\frac{\eta E}{\frac{?y_2}{?w_2}}=1+1?(?7)/9=1?7/9=2/9 \end{gathered}$$

$w_1,w_2已被調(diào)整為新值，w_1=\frac{5}{6}，w_2=\frac{2}{9}$
將此值帶入原式計算，
$$y_1=\frac{11}{6},y_2=\frac{121}{162}$$
可看到，$y_2$從原先的 $10$ 被調(diào)整到了 $121/162$，可以看到，通過誤差反向傳播確實可以修正權(quán)值$w_1,w_2$。
但是過大的學(xué)習(xí)率會導(dǎo)致結(jié)果過擬合，如上，我們需要最后值為3，但修改后的值甚至小于了1。因此調(diào)整合適的學(xué)習(xí)率 $\eta$是必須的。

誤差函數(shù)和激活函數(shù)

【機器學(xué)習(xí)基礎(chǔ)】2、代價函數(shù)\損失函數(shù)匯總

誤差函數(shù)

用于計算誤差值 $E$

引自：https://www.cnblogs.com/go-ahead-wsg/p/12346744.html

二次代價函數(shù)

C = 1 2 n ∑ x 1 , … x n ∥ y ( x ) ? a L ( x ) ∥ 2 C=\frac{1}{2 n} \sum_{x_{1}, \ldots x_{n}}\left\|y(x)-a^{L}(x)\right\|^{2} C=2n1?x1?,…xn?∑? ?y(x)?aL(x) ?2

• C表示代價函數(shù)
• x表示樣本
• y表示實際值
• a表示輸出值
• n表示樣本的總數(shù)；

其中$$a=\sigma (z),z=\sum w_j?x_j+b$$

• a代表激活函數(shù)的輸出值
• σ代表sigmoid函數(shù)

$$\begin{gathered} \frac{?C}{?w}=(a?y){\sigma }^{\prime }(z)x \\ \frac{?C}{?b}=(a?y){\sigma }^{\prime }(z) \end{gathered}$$

注：由于反向誤差梯度與sigmoid函數(shù)的導(dǎo)數(shù)有關(guān)，而sigmoid函數(shù)的導(dǎo)數(shù)會在值較大時有較小的倒數(shù)，故會導(dǎo)致權(quán)值調(diào)整較小。
如下圖所示：

因此引入交叉熵代價函數(shù)

交叉熵代價函數(shù)

交叉熵代價函數(shù)（Cross-entropy cost function）是用來衡量人工神經(jīng)網(wǎng)絡(luò)（ANN）的預(yù)測值與實際值的一種方式。與二次代價函數(shù)相比，它能更有效地促進ANN的訓(xùn)練。

$$C=?\frac{1}{n}\sum _{x_1,x_n}[y\ln a+(1?y)\ln (1?a)]$$

• C表示代價函數(shù)
• x表示樣本
• y表示實際值
• a表示輸出值
• n表示樣本的總數(shù)；
  $$\begin{gathered} a=\sigma (z),z=\sum w_j?x_j+b \\ {\sigma }^{\prime }(z)=\sigma (z)(1?\sigma (x)) \end{gathered}$$

梯度求解
$$\begin{array}{rl}\frac{?C}{?w_j}& =?\frac{1}{n}\sum _x\left(\frac{y}{\sigma (z)}?\frac{(1?y)}{1?\sigma (z)}\right)\frac{?\sigma }{?w_j}\\ & =?\frac{1}{n}\sum _x\left(\frac{y}{\sigma (z)}?\frac{(1?y)}{1?\sigma (z)}\right){\sigma }^{\prime }(z)x_j\\ & =\frac{1}{n}\sum _x\frac{{\sigma }^{\prime }(z)x_j}{\sigma (z)(1?\sigma (z))}(\sigma (z)?y)\\ & =\frac{1}{n}\sum _x{x}_j(\sigma (z)?y)\\ \frac{?C}{?b}& =\frac{1}{n}\sum _x(\sigma (z)?y)\end{array}$$

可以看出：權(quán)值 $w$ 和偏執(zhí)值 $b$ 的調(diào)整與 $\sigma \prime (z)$ 無關(guān)，另外，梯度公式中的 $\sigma (z)?y$
表示輸出值與實際值放入誤差。所以當(dāng)誤差越大時，梯度就越大，參數(shù)w和b的調(diào)整就越快，訓(xùn)練的速度也就越快。

總結(jié)：當(dāng)輸出神經(jīng)元是線性的，那么二次代價函數(shù)就是一種合適的選擇。如果輸出神經(jīng)元是S型函數(shù)，那么比較適合交叉墑代價函數(shù)。

激活函數(shù)

激活函數(shù)類似于人類神經(jīng)元，對輸入信號進行線性或非線性變換。

• M-P模型中使用step函數(shù)作為激活函數(shù)
• 多層感知器中使用sigmoid函數(shù)，或tanh函數(shù)（雙曲正切函數(shù)）
• 最近幾年在深度學(xué)習(xí)中，修正線性單元（Rectified Linear Unit，ReLU）

sigmoid函數(shù)

$$\begin{gathered} f(u)=\frac{1}{1+e^{?u}} \\ u=\sum _{i=1}^n{w}_i{x}_i \end{gathered}$$
偏導(dǎo)數(shù)：
$$\frac{?f(u)}{?u}=f(u)(1?f(u))$$

RELU函數(shù)

$$\begin{gathered} f(u)=max(0,u) \\ \frac{?f(u)}{?u}=1 \end{gathered}$$

似然函數(shù)

似然函數(shù)用于計算多層感知器的輸出結(jié)果，通常以softmax函數(shù)作為似然函數(shù)。

softmax函數(shù)

$$p(y^k)=\frac{exp(u_{2k})}{{\sum }_{q=1}^{Q}exp(u_{2q})}$$
softmax函數(shù)的分母是對輸出層所有單元(q = 1，······，Q)的激活函數(shù)值的求和，起到歸一化的作用。

隨機梯度下降法

使用部分訓(xùn)練樣本進行迭代計算，這種方法叫做隨機梯度下降法（Stochastic Gradient Descent，SGD），與之相對的是批量學(xué)習(xí)方法。

批量學(xué)習(xí)方法

計算時遍歷全部訓(xùn)練樣本，設(shè)第 $t$ 次迭代各訓(xùn)練樣本誤差為 $E_n^t$ ,通過所有誤差項計算全部訓(xùn)練樣本誤差：
$$E=\sum _{n=1}^n{E}_n$$
基于全部訓(xùn)練樣本得到權(quán)重權(quán)重調(diào)整值并修正網(wǎng)絡(luò)連接權(quán)重
$$w=w?\eta \frac{?E}{?w}$$
然后使用調(diào)整后的連接權(quán)重測試全部訓(xùn)練樣本，如此反復(fù)迭代計算權(quán)重調(diào)整并修正網(wǎng)絡(luò)。

• 優(yōu)點：能有效抑制訓(xùn)練集內(nèi)帶噪聲的樣本所導(dǎo)致的輸入模式劇烈變動
• 缺點：每次調(diào)整連接權(quán)值，所有樣本都要參與訓(xùn)練，所有訓(xùn)練時間長

在線學(xué)習(xí)

逐個輸入訓(xùn)練樣本

由于在線學(xué)習(xí)每次迭代計算一個訓(xùn)練樣本，所以訓(xùn)練樣本的差異會導(dǎo)致結(jié)果出現(xiàn)大幅變動。
迭代結(jié)果的變動可能導(dǎo)致訓(xùn)練無法收斂。

小批量梯度下降法

介于在線學(xué)習(xí)和批量學(xué)習(xí)之間，將訓(xùn)練集分成幾個子集D，每次迭代使用一個子集。

小批量下降法能夠縮短單次訓(xùn)練時間，又能降低迭代結(jié)果的變動。

由于隨機梯度下降法只使用部分訓(xùn)練樣本，每次迭代后樣本集的趨勢都會發(fā)生變化，所以減少了迭代結(jié)果陷入局部最優(yōu)解的情況。

學(xué)習(xí)率

用來確定權(quán)重連接調(diào)整的系數(shù)。

如果學(xué)習(xí)率過大，則有可能修正過頭
如果學(xué)習(xí)率較小，收斂速度會很慢。

自適應(yīng)調(diào)整學(xué)習(xí)率—AdaGrad方法

用學(xué)習(xí)率除以截至當(dāng)前時刻 $t$ 的梯度 $▽E$ 的累計值，得到神經(jīng)網(wǎng)絡(luò)的連接權(quán)重 $w$.

$$w=w?\eta \frac{▽E^{(t)}}{\sqrt{{\sum }_{i=1}^t(▽E^{(i)}{)}^2+}\epsilon }$$

總結(jié)

以上是生活随笔為你收集整理的深度学习(神经网络)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。