目錄

一、多層神經(jīng)網(wǎng)絡(luò)

1、多層神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型

2、數(shù)學(xué)模型中的非線性函數(shù)fai

1）非線性函數(shù)fai存在的意義

2）非線性函數(shù)fai具體是什么？

3、多層神經(jīng)網(wǎng)絡(luò)與單層神經(jīng)網(wǎng)絡(luò)的區(qū)別與改進

1）單層神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型

2）多層神經(jīng)網(wǎng)絡(luò)模型

3）區(qū)別

二、三層神經(jīng)網(wǎng)絡(luò)

1、定理

2、一些概念（決策面、神經(jīng)元、神經(jīng)網(wǎng)絡(luò)層數(shù)）

1）決策面

2）神經(jīng)元

3）神經(jīng)網(wǎng)絡(luò)層數(shù)n

3、常見的三層神經(jīng)網(wǎng)絡(luò)模型（含w,b的參數(shù)設(shè)置）

1）一個三角形決策面的神經(jīng)網(wǎng)絡(luò)模型（兩層神經(jīng)網(wǎng)絡(luò)）

2）一個四邊形決策面的神經(jīng)網(wǎng)絡(luò)模型（兩層神經(jīng)網(wǎng)絡(luò)）

3）一個曲線圍成決策面的神經(jīng)網(wǎng)絡(luò)模型（兩層神經(jīng)網(wǎng)絡(luò)）

小結(jié)1：一個決策面時最后一層常用w,b參數(shù)的設(shè)置

4)兩個決策面的神經(jīng)網(wǎng)絡(luò)模型（三層神經(jīng)網(wǎng)絡(luò)）

5)兩個以上決策面的神經(jīng)網(wǎng)絡(luò)模型（三層神經(jīng)網(wǎng)絡(luò)）

小結(jié)2：多個決策面時最后一層w,b常用參數(shù)和第二層w,b常用參數(shù)的設(shè)置

疑問：

---

一、多層神經(jīng)網(wǎng)絡(luò)

1、多層神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型

并行化的系統(tǒng)

2、數(shù)學(xué)模型中的非線性函數(shù)fai

1）非線性函數(shù)fai存在的意義

如下圖可知如果沒有非線性函數(shù)最后得出的y依據(jù)是線性的，這就又回到了最初的單層神經(jīng)網(wǎng)絡(luò)，沒有新的突破，而fai函數(shù)則圖突破了這個局限性

2）非線性函數(shù)fai具體是什么？

fai函數(shù)就是階躍函數(shù)

?

3、多層神經(jīng)網(wǎng)絡(luò)與單層神經(jīng)網(wǎng)絡(luò)的區(qū)別與改進

1）單層神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型

具體見：《機器學(xué)習(xí)——人工神經(jīng)網(wǎng)絡(luò)之發(fā)展歷史（神經(jīng)元數(shù)學(xué)模型、感知器算法）》

?

2）多層神經(jīng)網(wǎng)絡(luò)模型

?

3）區(qū)別

多層神經(jīng)網(wǎng)絡(luò)顧名思義具有多層的神經(jīng)網(wǎng)絡(luò)，經(jīng)過多層的變化后將輸入的xi變化后進行y的輸出

該多層神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型和階躍函數(shù)（fai函數(shù)）的結(jié)合可以解決所有的非線性問題，這也是多層神經(jīng)網(wǎng)絡(luò)最大的優(yōu)勢所在

?

二、三層神經(jīng)網(wǎng)絡(luò)

1、定理

三層神經(jīng)網(wǎng)絡(luò)可以模擬所有的決策面

2、一些概念（決策面、神經(jīng)元、神經(jīng)網(wǎng)絡(luò)層數(shù)）

1）決策面

決策面就是每一類樣本所分布的一塊區(qū)域，由多條線所圍成的一個區(qū)域（若由曲線圍成，可以將曲線看成由無數(shù)條非常短的線組成的曲線）

三條線圍成一個決策面（C1類的區(qū)域）

四條線圍成一個決策面（C1類的區(qū)域）

曲線圍成一個決策面（C1類的區(qū)域）——將曲線看成由無數(shù)直線構(gòu)成

直線圍成多個分開的決策面（C1類的區(qū)域）

?

2）神經(jīng)元

神經(jīng)元在數(shù)學(xué)模型中的位置如下圖所示，神經(jīng)元的個數(shù)其實就是圍成決策面的直線條數(shù)，圍成決策面的條數(shù)有多少，那么神經(jīng)元就有多少個，若是曲線，則有無數(shù)個神經(jīng)元

3）神經(jīng)網(wǎng)絡(luò)層數(shù)n

神經(jīng)網(wǎng)絡(luò)層數(shù)一般由決策面的個數(shù)決定，若決策面只有一個，神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型采用兩層神經(jīng)網(wǎng)絡(luò)就可以實現(xiàn)，但是如果決策面有多個（如上面的C1類的區(qū)域分開成了兩個決策面）則神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型采用三層神經(jīng)網(wǎng)絡(luò)就可以實現(xiàn)

決策面?zhèn)€數(shù)m，則神經(jīng)網(wǎng)絡(luò)層數(shù)n：

所以三層神經(jīng)網(wǎng)絡(luò)可以模擬所有的決策面

?

3、常見的三層神經(jīng)網(wǎng)絡(luò)模型（含w,b的參數(shù)設(shè)置）

1）一個三角形決策面的神經(jīng)網(wǎng)絡(luò)模型（兩層神經(jīng)網(wǎng)絡(luò)）

?

2）一個四邊形決策面的神經(jīng)網(wǎng)絡(luò)模型（兩層神經(jīng)網(wǎng)絡(luò)）

?

3）一個曲線圍成決策面的神經(jīng)網(wǎng)絡(luò)模型（兩層神經(jīng)網(wǎng)絡(luò)）

將曲線用無數(shù)個非常短的線去替代曲線，只是神經(jīng)元為無限個

?

小結(jié)1：一個決策面時最后一層常用w,b參數(shù)的設(shè)置

答：設(shè)決策面為1個，圍成決策面的直線條數(shù)為n，則取：所有w = 1 ; b = - n + 0.5

只有一個決策面的數(shù)學(xué)模型最后一層神經(jīng)網(wǎng)絡(luò)是與邏輯關(guān)系，即所有輸入為1，歸類為C1，反之歸類為C2

?

4)兩個決策面的神經(jīng)網(wǎng)絡(luò)模型（三層神經(jīng)網(wǎng)絡(luò)）

一個決策面的神經(jīng)元在第二層的輸出為一個，有多少個決策面第二層就會有多少個輸出（與關(guān)系）

5)兩個以上決策面的神經(jīng)網(wǎng)絡(luò)模型（三層神經(jīng)網(wǎng)絡(luò)）

兩個以上的決策面的神經(jīng)網(wǎng)絡(luò)模型和兩個決策面是類似的，只是第一層的神經(jīng)元數(shù)目多了，第二層的與關(guān)系多了而已

?

小結(jié)2：多個決策面時最后一層w,b常用參數(shù)和第二層w,b常用參數(shù)的設(shè)置

答：多個決策面時，最后一層的w,b參數(shù)固定為：w = 1 , b = -0.5

第二層每個與關(guān)系處即每一個決策面的第二層的w,b參數(shù)設(shè)置參考上面的小結(jié)1

疑問：

那么該怎么取利用這個神經(jīng)網(wǎng)絡(luò)模型去解決實際的問題呢？至今為止神經(jīng)網(wǎng)絡(luò)的理論還不夠完善，大部分還是通過實驗的方式來獲得神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)（主要是第一層中的w,b參數(shù)），也因為這樣，神經(jīng)網(wǎng)絡(luò)成為了一個實驗性的學(xué)科，但是也有常用的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法（訓(xùn)練就是通過訓(xùn)練樣本求解參數(shù)的一個過程，，進而獲得完整的模型，利用模型可以對測試樣本進行分類），可以參見文章：《機器學(xué)習(xí)——人工神經(jīng)網(wǎng)絡(luò)之后向傳播算法（BP算法）》

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的机器学习——人工神经网络之多层神经网络（多层与三层）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。