本章討論一種全新的建模理念，它不關(guān)心模型的假設(shè)以及相應(yīng)的數(shù)學(xué)推導(dǎo)，也就是說不關(guān)心模型的可解釋性，其核心內(nèi)容是模型實(shí)現(xiàn)，雖然到目前為止，人們還無法理解，但在某些特定場(chǎng)景里預(yù)測(cè)效果卻非常好。我們把這種模型稱為神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)，人工智能等。

---

神經(jīng)元

?

模型的輸入是數(shù)據(jù)里的自變量

接收輸入變量的是一個(gè)線性模型

接下來是一個(gè)非線性激活函數(shù)

，這是神經(jīng)元模型的核心，常用的激活函數(shù)有很多，如sigmoid,ReLU,tanh,maxout等

模型各部分聯(lián)結(jié)起來得到輸出

，傳遞給下一個(gè)神經(jīng)元

sigmoid 神經(jīng)元與二元邏輯回歸

sigmoid 函數(shù)作為神經(jīng)元激活函數(shù)的兩個(gè)好處：

實(shí)用：能將任意實(shí)數(shù)映射到(0,1)區(qū)間

理論：模擬了兩種效應(yīng)的競(jìng)爭(zhēng)關(guān)系，可近似表達(dá)正效應(yīng)大于負(fù)效應(yīng)的概率

當(dāng)模型被用于二元分類時(shí)，sigmoid神經(jīng)元模型就是邏輯回歸

softmax 函數(shù)與多元邏輯回歸

獨(dú)熱編碼：對(duì)于k元分類問題，用一個(gè)k維行向量來表示它的類別

Softmax 函數(shù)：給定輸入數(shù)據(jù)，輸出這個(gè)數(shù)據(jù)的類別概率

（softmax 函數(shù)）

對(duì)于k元邏輯回歸，某個(gè)數(shù)據(jù)點(diǎn)的損失可以寫成softmax函數(shù)與行向量的乘積形式

其中

是獨(dú)熱編碼向量，

，

是Softmax函數(shù)

---

神經(jīng)網(wǎng)絡(luò)

?

神經(jīng)元按層組織，每一層包含若干神經(jīng)元，層內(nèi)神經(jīng)元相互獨(dú)立，但相鄰兩層之間是全連接的

神經(jīng)網(wǎng)絡(luò)不同層按功能分為3類，分別是輸入層，隱藏層，和輸出層。

隱藏層里每一個(gè)圓圈包含線性模型和激活函數(shù)，統(tǒng)稱神經(jīng)元

輸入層不對(duì)數(shù)據(jù)做處理

輸出層只包含線性模型，沒有激活函數(shù)

代碼實(shí)現(xiàn)

借助第三方庫tensorflow實(shí)現(xiàn)

?

---

反向傳播算法(BP)

反向傳播算法是神經(jīng)網(wǎng)絡(luò)的基石，但其本身卻飽受質(zhì)疑，因?yàn)闆]有生物學(xué)的支持，違背神經(jīng)網(wǎng)絡(luò)的建模理念，BP算法的核心是利用鏈?zhǔn)椒▌t計(jì)算多元函數(shù)偏導(dǎo)數(shù)

計(jì)算的起點(diǎn)：

反向傳播：

模型訓(xùn)練梯度：

BP算法和最大期望EM算法類似，可分為向前計(jì)算和向后計(jì)算

• 首先隨機(jī)生成模型參數(shù)

和

• 根據(jù)現(xiàn)有的模型參數(shù)和訓(xùn)練數(shù)據(jù)，計(jì)算每個(gè)神經(jīng)元的

和

• 根據(jù)隨機(jī)梯度下降法更新參數(shù)

---

提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率

改進(jìn)激活函數(shù)

學(xué)習(xí)效率正比于激活函數(shù)的導(dǎo)數(shù)

sigmoid函數(shù)：非0中心；自變量遠(yuǎn)離0時(shí)導(dǎo)數(shù)接近0

tanh函數(shù)：以0為中心但是自變量遠(yuǎn)離0時(shí)導(dǎo)數(shù)接近0

ReLU函數(shù):自變量小于0時(shí)，導(dǎo)數(shù)恒小于0，自變量大于0時(shí)，導(dǎo)數(shù)恒大于0

參數(shù)初始化：令

，其中m是上一層神經(jīng)元個(gè)數(shù)，可以提高學(xué)習(xí)效率

梯度消失和梯度爆炸是同一個(gè)問題的兩個(gè)極端，是神經(jīng)網(wǎng)絡(luò)的權(quán)重項(xiàng)疊加效應(yīng)導(dǎo)致。

總結(jié)

以上是生活随笔為你收集整理的bp神经网络代码_精通数据科学笔记 神经网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。