本篇文章將分享Coursera上Andrew Ng的Machine Learning第四周的課程，主要內(nèi)容有如下，詳細(xì)內(nèi)容可以參考文末附件：

• 動(dòng)機(jī)
• 神經(jīng)網(wǎng)絡(luò)
• 應(yīng)用

動(dòng)機(jī)

為什么要引入神經(jīng)網(wǎng)絡(luò)？在分類(lèi)問(wèn)題中，特別是在非凸邊界函數(shù)的情況下，要將用樣本訓(xùn)練分類(lèi)器，假設(shè)公式[Math Processing Error]會(huì)寫(xiě)的比較復(fù)雜，兩個(gè)變量的問(wèn)題可能會(huì)涉及到三階以及上的項(xiàng)，特征變量的數(shù)量如果隨之增加，那么求解的難度會(huì)成倍地增加。

特別的，在機(jī)器視覺(jué)相關(guān)問(wèn)題中，一塊圖像區(qū)域可能包含成千上萬(wàn)個(gè)像素點(diǎn)，如果都作為特征變量的話用線性回歸或者邏輯回歸會(huì)使問(wèn)題變得尤為復(fù)雜。通常在圖像分類(lèi)問(wèn)題中都采用的是神經(jīng)網(wǎng)絡(luò)算法，通過(guò)提取特定區(qū)域的像素值作為特征變量進(jìn)行訓(xùn)練和識(shí)別，可以有效提高正確率和效率。

神經(jīng)網(wǎng)絡(luò)算法最早是人們?yōu)榱税l(fā)明一種算法來(lái)模擬人腦的學(xué)習(xí)過(guò)程，曾經(jīng)在八十年代以及九十年代早期廣泛應(yīng)用，而在九十年代末期使用熱情退卻過(guò)一段時(shí)間，主要是受限于當(dāng)年計(jì)算機(jī)的運(yùn)算速度。而后又因?yàn)橛?jì)算機(jī)運(yùn)算速度突飛猛進(jìn)而重新被大家重視并廣泛應(yīng)用。

有一些有趣的實(shí)驗(yàn)證實(shí)，雖然大腦可以完成許多看似不相關(guān)的任務(wù)，如聽(tīng)、觸、看、聞等等，但實(shí)際上只用一種算法就可以搞這些任務(wù)。其中一個(gè)實(shí)驗(yàn)是將聽(tīng)覺(jué)神經(jīng)切斷，將相應(yīng)的大腦皮層區(qū)域連接到視覺(jué)神經(jīng)上，在這種情況下動(dòng)物就可以用本該負(fù)責(zé)聽(tīng)覺(jué)的區(qū)域用于視覺(jué)的學(xué)習(xí)。另一個(gè)類(lèi)似的實(shí)驗(yàn)是將觸覺(jué)神經(jīng)切斷，讓觸覺(jué)的大腦皮層區(qū)域?qū)W會(huì)“看”。這個(gè)發(fā)現(xiàn)會(huì)有很多的應(yīng)用，如幫助視覺(jué)殘疾的人學(xué)會(huì)用舌頭看東西，用聲音定位，用磁場(chǎng)感應(yīng)方向以及用移植的第三只眼學(xué)會(huì)看東西（現(xiàn)實(shí)版的“二郎神”）。

神經(jīng)網(wǎng)絡(luò)

前面提到神經(jīng)網(wǎng)絡(luò)是人類(lèi)模仿神經(jīng)工作方式的一種算法，本節(jié)就從神經(jīng)細(xì)胞開(kāi)始，切入到神經(jīng)網(wǎng)絡(luò)模型的表示。神經(jīng)細(xì)胞有樹(shù)突和軸突，樹(shù)突作為參數(shù)輸入的接收部分，將電信號(hào)經(jīng)過(guò)“計(jì)算”，由軸突轉(zhuǎn)遞給下一個(gè)神經(jīng)元，直到最后。

神經(jīng)網(wǎng)絡(luò)模型也是一樣，可以接受多個(gè)參數(shù)的輸入，由結(jié)點(diǎn)經(jīng)過(guò)計(jì)算后輸出結(jié)果。一般用邏輯回歸作為激活函數(shù)，也就是從輸入?yún)?shù)轉(zhuǎn)換為計(jì)算結(jié)果的計(jì)算過(guò)程。另外，一般在每一層除了輸入以外，還會(huì)加一個(gè)偏置單元。這個(gè)偏置單元的作用主要控制神經(jīng)元產(chǎn)生正/負(fù)激勵(lì)的難易，參考請(qǐng)戳此處。

一般模型分為三層，分別是輸入層、隱藏層和輸出層。如果多于三層的話，除了第一層和最后一層，都是隱藏層。[Math Processing Error]表示第[Math Processing Error]層的激勵(lì)函數(shù)，[Math Processing Error]表示第[Math Processing Error]到[Math Processing Error]層的權(quán)重矩陣。以下圖中三層神經(jīng)網(wǎng)絡(luò)模型為例，

[Math Processing Error]

[Math Processing Error]

[Math Processing Error]

[Math Processing Error]

其中，[Math Processing Error]是Sigmod函數(shù)。整個(gè)傳播過(guò)程就是由前向后，從輸入一直到輸出。

應(yīng)用

本節(jié)簡(jiǎn)述了以神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)XOR（異或門(mén)）和XNOR（同或門(mén)）的例子。從最簡(jiǎn)單的AND、OR、NOT講起，深入淺出地將神經(jīng)網(wǎng)絡(luò)應(yīng)用于實(shí)際的問(wèn)題中去。調(diào)整的就是各輸入變量和偏置單元的權(quán)重參數(shù)，利用真值表檢驗(yàn)結(jié)果是否正確。而XOR和XNOR就是利用不同的基礎(chǔ)的神經(jīng)元上進(jìn)行組合，以得到正確的結(jié)果。最后還展示了一個(gè)手寫(xiě)數(shù)字識(shí)別的小Demo，非常有意思。

在利用神經(jīng)網(wǎng)絡(luò)模型處理多分類(lèi)的問(wèn)題時(shí)，采用的是和邏輯回歸類(lèi)似的One-vs-all思想，需要調(diào)整的就是將原來(lái)只有一個(gè)輸出結(jié)點(diǎn)變?yōu)槎鄠€(gè)，并使不同輸出結(jié)點(diǎn)互斥。即輸出層變?yōu)閷?duì)應(yīng)[Math Processing Error]類(lèi)的[Math Processing Error]的列向量，不再用1,2,3,4表示各類(lèi)。

附本次分享演示文檔：ML-Coursera-Week4

總結(jié)

以上是生活随笔為你收集整理的Machine Learning - Andrew Ng on Coursera (Week 4)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。