? ? ? ?之前說過要轉(zhuǎn)深度學(xué)習(xí)這塊的，今天給大家介紹一本Python神經(jīng)網(wǎng)絡(luò)編程，今年4月份出版的：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?第一章 ?神經(jīng)網(wǎng)絡(luò)如何工作
? ? ? ?Github源碼地址：https://github.com/hzka/PythonNetworkBook? 《Python神經(jīng)網(wǎng)絡(luò)編程》的PDF鏈接：鏈接: https://pan.baidu.com/s/1k0j-u-W-Y6Sov7ZqCW_CVw? ? 提取碼: jdgf?

1.1尺有所短 寸有所長
? ? ? ?有些任務(wù)，對于傳統(tǒng)計(jì)算機(jī)而言很容易，對人類而言卻很難，例如，對數(shù)百萬個(gè)數(shù)字進(jìn)行乘法運(yùn)算。另一方面，有些任務(wù)對傳統(tǒng)計(jì)算機(jī)來說很難，對人類反而很容易，例如，從一堆人中識(shí)別出面孔。我們的目的是設(shè)計(jì)新算法新方法去讓計(jì)算機(jī)在求解相對困難的問題時(shí)讓人覺得是智能在起作用而非人。

1.2一臺(tái)簡單的預(yù)測機(jī)
? ? ? ? 普通機(jī)器：輸入->流程（計(jì)算）->輸出;eg:輸入是4*3;計(jì)算是4+4+4;輸出是12。
? ? ? ? 假設(shè)一臺(tái)機(jī)器要將千米轉(zhuǎn)換為英里，已知兩者關(guān)系是線性的（英里=千米*C，但C未知）和一些正確的千米和公里的樣本示例（100km,62.137英里）。
? ? ? ? 機(jī)器假設(shè)參數(shù)C為0.5，機(jī)器得到50英里答案，有誤差值12.137,增加C可以增加輸出。增加到0.6會(huì)有明顯進(jìn)步（使用誤差值來指導(dǎo)如何改變C的值），使用0.7會(huì)出現(xiàn)較大誤差，所有0.6更好。嘗試0.61.
需要說明的是，輸出值越接近正確答案，誤差越來越小。而神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)核心過程就是：訓(xùn)練機(jī)器使其輸出值越發(fā)接近正確的值，迭代：持續(xù)的一點(diǎn)一點(diǎn)接近答案。
?本節(jié)關(guān)鍵點(diǎn)：
? ? ? ? 1.所有計(jì)算機(jī)系統(tǒng)只有一個(gè)輸入和輸出。在輸入和輸出之間進(jìn)行某種類型計(jì)算，神經(jīng)網(wǎng)絡(luò)也是如此；
? ? ? ? 2.當(dāng)我們不能精確知道一些事情如何運(yùn)作時(shí)，我們可以嘗試模型來估計(jì)其運(yùn)作方式，在模型中，包括我們可以調(diào)整的參數(shù)。如果我們不知道如何將千米轉(zhuǎn)換為公里，我們可以使用線性函數(shù)作為模型，使用可調(diào)節(jié)的梯度值作為參數(shù)；
? ? ? ? 3.改進(jìn)模型的一種好方法是基于模型和已知真實(shí)示例之間進(jìn)行比較，得到模型偏移的誤差值，調(diào)整參數(shù)。

1.3分類器與預(yù)測器并無太大差別
? ? ? ?假設(shè)花園中只有兩種小蟲子，毛蟲細(xì)而長，瓢蟲寬而短，構(gòu)建直角坐標(biāo)系，橫坐標(biāo)是寬度，縱坐標(biāo)是長度。使用同樣的方法對兩者進(jìn)行分類。如果直線可以將兩者區(qū)分，那么兩者就可以根據(jù)測量值分類了。調(diào)節(jié)斜率以達(dá)到效果（假設(shè)斜率為1）。構(gòu)建好簡單分類器后，機(jī)器手臂抓一只小蟲，測量寬長，使用上述分界線，可以將其正確歸類。（此為使用線性函數(shù)對未知數(shù)據(jù)進(jìn)行分類）
? ? ? ?而在這一過程中，我們忽略了如何得到正確斜率及能不能改進(jìn)優(yōu)化小蟲分界線呢，這是神經(jīng)網(wǎng)絡(luò)的核心地帶，下一節(jié)講。

1.4訓(xùn)練簡單的分類器
? ? ? ? 本節(jié)我們講如何調(diào)整分界線斜率使其能夠基于小蟲的寬度和長度將兩組點(diǎn)劃分開來。
? ? ? ? 解決方案：
? ? ? ? 兩組數(shù)據(jù)（瓢蟲，寬度3.0，長度1.0；毛蟲，寬度1.0，長度3.0）；在這里我們假設(shè)也有一個(gè)調(diào)整了參數(shù)的線性函數(shù)。這是一個(gè)分界線，一臺(tái)分類器而非轉(zhuǎn)換（假設(shè)為y=aX）。
? ? ? ? 假設(shè)隨機(jī)選擇參數(shù)為0.25，寬度為3，長度為0.75，訓(xùn)練數(shù)據(jù)告訴我們這至少是1，根據(jù)誤差值（誤差值E等于期望目標(biāo)值1.1減去實(shí)際輸出值0.75）調(diào)整參數(shù)，盡可能使所有瓢蟲的點(diǎn)在下方。我們假設(shè)這里有一個(gè)微小的增量△A?！鰽與E的關(guān)系是△A=E/X，倘若我們要調(diào)整到1.1,1.E=1-0.75=0.35.X=3;則△A為0.1167，則斜率從0.25增加至0.3667.
代入寬度1.0，長度3.0,y=aX=1*0.3667=0.3667，與3差距較大。目標(biāo)值設(shè)為2.9，2.5333/1.0+0.3667=2.9。所以最終調(diào)整斜率便為2.9。但這樣效果并不好。
? ? ? ? 我們應(yīng)該采用適度改進(jìn)策略。改進(jìn)不能太過激烈，采用△A的幾分之幾作為一個(gè)變化值。小心謹(jǐn)慎的調(diào)節(jié)參數(shù)?？梢杂行б种棋e(cuò)誤和噪聲，引入了調(diào)節(jié)系數(shù)L?！鰽=L(E/X)。調(diào)節(jié)系數(shù)也被稱為學(xué)習(xí)率。假設(shè)L=0.5。初始值A(chǔ)=0.25，y=0.25*3.0=0.75，期望值為1.1，得到誤差0.35,△A=L(E/X)=0.5*0.35/3.0=0.0583,更新后的A值為0.25+0.0583=0.3083。這時(shí)使用第二個(gè)樣本值將A更新為1.6042。我們可以通過兩個(gè)參數(shù)加之L計(jì)算出最后更新的值為1.6042.結(jié)果不錯(cuò)。我們已經(jīng)實(shí)現(xiàn)了自動(dòng)化的學(xué)習(xí)方法。
關(guān)鍵點(diǎn)：
? ? ? ?1.我們使用簡單的數(shù)學(xué)，理解了線性分類器輸出誤差值和可調(diào)節(jié)斜率參數(shù)之間的關(guān)系，換句話說，在何種程度上調(diào)整斜率，可以消除輸出誤差值；
? ? ? ?2.使用樸素的調(diào)整方法會(huì)出現(xiàn)一個(gè)問題，即改進(jìn)后的模型只與最后一次訓(xùn)練樣本最匹配，“有效地”忽略了所有以前訓(xùn)練的樣本，解決這一問題的一個(gè)方法是使用學(xué)習(xí)率，調(diào)整改進(jìn)學(xué)習(xí)率，這樣單一的訓(xùn)練樣本無法主導(dǎo)學(xué)習(xí)過程；
? ? ? ?3.來自真實(shí)世界的訓(xùn)練樣本充滿噪聲或包含錯(cuò)誤，適度更新有助于限制這些錯(cuò)誤樣本的影響。

1.5 有時(shí)候一個(gè)分類器不足以求解問題
? ? ? ?線性分類器有局限性，這里以布爾邏輯函數(shù)為例來說明問題。
? ? ? ?使用線性分類器可以學(xué)習(xí)到布爾AND運(yùn)算和布爾OR運(yùn)算（當(dāng)AB輸入均為真時(shí)，AND函數(shù)才為真，當(dāng)只要有一個(gè)為真時(shí)，OR才為真。）。但如果出現(xiàn)的是由XOR（兩者同真同假時(shí)，其為假）函數(shù)支配的訓(xùn)練數(shù)據(jù)，那么一個(gè)簡單的線性分類器無法學(xué)習(xí)到布爾XOR函數(shù)。（主要限制：若不能用一條直線把根本性問題劃分開來，那么簡單線性分類器就是無用的）
? ? ? ?因此我們需要神經(jīng)網(wǎng)絡(luò)去解決。神經(jīng)網(wǎng)絡(luò)的核心思想是使用多分類器一起工作。這樣才可以解決XOR分類問題。
關(guān)鍵點(diǎn)：
? ? ? ?1.如果數(shù)據(jù)本身不是單一線性過程支配，那么一個(gè)簡單的線性分類器不能對數(shù)據(jù)進(jìn)行劃分，例如邏輯XOR運(yùn)算符支配的數(shù)據(jù)說明了這一點(diǎn)；
? ? ? ?2.解決方案很容易，使用多個(gè)線性分類器來劃分由單一直線無法分離的數(shù)據(jù)。

1.6神經(jīng)元—大自然的計(jì)算器
? ? ? ?計(jì)算機(jī)處理速度快但能力不如大腦。這是因?yàn)榧軜?gòu)不同：傳統(tǒng)計(jì)算機(jī)串行，不存在不確定性；動(dòng)物大腦并行，模糊性式計(jì)算的特征。
? ? ? ?讓我們觀察大腦中的神經(jīng)元，神經(jīng)元分為樹突、軸突和終端，電信號(hào)沿著軸突從樹突傳到樹突。人腦有1000億神經(jīng)元，連線蟲都有302神經(jīng)元。觀察表明：神經(jīng)元不會(huì)立即反應(yīng)，而是會(huì)抑制輸入，直至輸入增強(qiáng)，強(qiáng)大到可以觸發(fā)輸出。只有輸入超過了閾值，足夠接通電路，才會(huì)產(chǎn)生輸出信號(hào)。神經(jīng)元并不希望傳遞微小的噪聲信號(hào)。數(shù)學(xué)上提供了許多激活階躍函數(shù)可以實(shí)現(xiàn)簡單的階躍。換句話說：輸入達(dá)到閾值，神經(jīng)元就被激發(fā)了。
? ? ? ?S函數(shù)相對于階躍函數(shù)相對平滑、更接近自然、現(xiàn)實(shí)。S函數(shù)又被稱為邏輯函數(shù)y=1/(1+e^-x),e=2.71828。
? ? ? ?那么如何建模人工神經(jīng)？
? ? ? ?多個(gè)輸入a,b,c，采用最終輸入的總和和適用閾值的思路。將三者之后（x=a+b+c）作為S閾值函數(shù)(s=f(x))的輸入。最終S函數(shù)輸出y。若一個(gè)足夠大，其他較小，也可以激發(fā)神經(jīng)元。單個(gè)一般大，但之和大于閾值也可以激發(fā)神經(jīng)元。類比到神經(jīng)元，樹突收集電信號(hào)，若足夠大超過閾值，神經(jīng)元發(fā)射信號(hào)，沿著軸突。傳到終端，將信號(hào)傳遞給下一個(gè)神經(jīng)元。每個(gè)神經(jīng)元接受多個(gè)神經(jīng)元的輸入。
? ? ? ?構(gòu)建多層神經(jīng)元，每一層中的神經(jīng)元都與在其前后層的神經(jīng)元互相連接。文章給了一個(gè)三層神經(jīng)元示例（主要是神經(jīng)元和神經(jīng)元之間的連接）。針對訓(xùn)練樣本，哪一部分執(zhí)行學(xué)習(xí)功能呢？針對訓(xùn)練樣本，我們應(yīng)該如何調(diào)整作出反應(yīng)呢？
? ? ? ?1.調(diào)整節(jié)點(diǎn)之間的連接強(qiáng)度（即調(diào)整輸入總和和S閾值函數(shù)的形狀）2.給每個(gè)連接賦上權(quán)重（較小權(quán)重弱化信號(hào)，較大權(quán)重放大信號(hào)）。
? ? ? ?隨著神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程的進(jìn)行，神經(jīng)網(wǎng)絡(luò)通過調(diào)整優(yōu)化網(wǎng)絡(luò)內(nèi)部的鏈接權(quán)重改進(jìn)輸出，一些權(quán)重可能變?yōu)榱慊蚪咏?#xff0c;為零意思就是斷開了。
關(guān)鍵點(diǎn)：
? ? ? ?1.雖然比起現(xiàn)代計(jì)算機(jī)，生物大腦看起來存儲(chǔ)空間少，運(yùn)行速度慢，但卻可以執(zhí)行復(fù)雜任務(wù)。譬如飛行、尋食、學(xué)習(xí)語言等。
? ? ? ?2.相比于傳統(tǒng)的計(jì)算機(jī)系統(tǒng)，生物大腦對損壞和不完善信號(hào)具有難以置信的彈性；
? ? ? ?3.由相互連接的神經(jīng)元組成的生物大腦是人工神經(jīng)網(wǎng)絡(luò)的靈感來源。
1.7 在神經(jīng)網(wǎng)絡(luò)中追蹤信號(hào)
? ? ? ?我們嘗試使用兩層神經(jīng)元、每層有兩個(gè)較小的神經(jīng)元（共四個(gè)鏈接）來說明神經(jīng)網(wǎng)絡(luò)是如何運(yùn)行的？
? ? ? ?兩個(gè)輸入分別是1.0和0.5，S激活函數(shù):y=1/(1+e^-x)將輸入變?yōu)檩敵?。神?jīng)元總輸入信號(hào)為x，輸出為y。權(quán)重隨機(jī)分別為W1,1 = 0.9;W1,2=0.2;W2,1=0.3;W2,2=0.8；通過學(xué)習(xí)樣本對隨機(jī)數(shù)值進(jìn)行改進(jìn)。
? ? ? ?開始計(jì)算：第一層是輸入層，輸入節(jié)點(diǎn)不對輸入值應(yīng)用激活函數(shù)；第二層開始計(jì)算，組合輸入，此處組合所連接的前一層的原始輸出，但這些輸出得到了鏈接權(quán)重的調(diào)節(jié)。對于第二層的節(jié)點(diǎn)一而言：x=(第一個(gè)點(diǎn)的輸出*鏈接權(quán)重)+(第二個(gè)點(diǎn)的輸出*鏈接權(quán)重);x=1.0*0.9+0.5*0.3=1.05.權(quán)重是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的內(nèi)容，對這些權(quán)重持續(xù)優(yōu)化，得到越來越好的結(jié)果。使用激活函數(shù)得到y(tǒng)=1/(1+e^-1.05)=0.7408.得到該神經(jīng)網(wǎng)絡(luò)的一個(gè)實(shí)際輸出。面對多層、多個(gè)節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)，我們可以使用矩陣的方法來計(jì)算出所有的輸出值。

1.8 憑心而論，矩陣乘法大有用途
? ? ? ?矩陣壓縮計(jì)算，能夠允許壓縮運(yùn)算，進(jìn)行縮寫；而且計(jì)算機(jī)可以高效高速完成矩陣計(jì)算。矩陣僅僅簡單是數(shù)字表格、矩形網(wǎng)絡(luò)而已。矩陣可以是數(shù)字，也可以是表示數(shù)值的變量。
? ? ? ?簡單的矩陣相乘（大家應(yīng)該都會(huì)，就不介紹了，自行百度）。需要注意的是：第一個(gè)矩陣的列數(shù)等于第二個(gè)矩陣的行數(shù)目。那么這有什么用呢？

? ? ?

? ? ? ? 見證奇跡的時(shí)刻。第一個(gè)矩陣是包含兩層節(jié)點(diǎn)之間的權(quán)重，第二個(gè)矩陣是包含第一層輸入層的信號(hào)。第一個(gè)2*2矩陣是（W1,1 ?W2,1 ?W1,2 ?W2,2）；第二個(gè)是(input_1,input_2),兩者相乘我們驚奇的發(fā)現(xiàn)可以得到與剛才計(jì)算相同的結(jié)果。X=W*I，W為權(quán)重矩陣，I為輸入矩陣。X為調(diào)節(jié)后的信號(hào)。激活函數(shù)較為簡單，無需矩陣乘法。對矩陣X的每個(gè)單獨(dú)元素應(yīng)用S函數(shù)。激活函數(shù)只是簡單應(yīng)用閾值，是反應(yīng)變得更像是在生物神經(jīng)元中觀察到的行為。第二層的最終輸出為O=sigmoid(X)，O代表神經(jīng)網(wǎng)絡(luò)中最后一層的所有輸出。X=W.I適用于前后層之間的運(yùn)算。
關(guān)鍵點(diǎn)：
? ? ? ?1.通過神經(jīng)網(wǎng)絡(luò)向前饋送信號(hào)所需的大量運(yùn)算可以表示為矩陣乘法；
? ? ? ?2.不管神經(jīng)網(wǎng)絡(luò)的規(guī)模如何，將輸入輸出表達(dá)為矩陣乘法，使得我們可以更為簡潔的書寫。
? ? ? ?3.更重要的是，計(jì)算機(jī)編程語言理解矩陣運(yùn)算，致使其可以高效的執(zhí)行。

1.9使用矩陣乘法的三層神經(jīng)網(wǎng)絡(luò)示例
? ? ? ?作者建立了3層，每層有3個(gè)節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)示例。3層中第一層為輸入層，最后一層為輸出層，中間層稱為隱藏層（只是因?yàn)闆]有明顯輸出）。Winput_hidden是輸入層和隱藏層之間的權(quán)重矩陣，Whidden_output指的是隱藏層和輸出層之間的權(quán)重矩陣。那么中間層的輸入是Xhidden=Winput_hidden*I；中間層的輸出是Ohideen=sigmoid(Xhidden)，因?yàn)镾的值域在0和1之間，所以所有的值都在這個(gè)區(qū)間內(nèi)。第三層與第二層原理一樣，將Ohidden作為第三層的輸入。需要注意的是，不管多少層神經(jīng)網(wǎng)絡(luò)，我們都一視同仁，即組合輸入信號(hào)，應(yīng)用權(quán)重對其調(diào)節(jié)，應(yīng)用激活函數(shù)，最終生成這些層的輸出信號(hào)。
? ? ? ? 下一步我們需要將神經(jīng)網(wǎng)絡(luò)的輸出值與訓(xùn)練樣本的輸入值進(jìn)行比較，計(jì)算誤差，我們需要使用這個(gè)誤差值來調(diào)整神經(jīng)網(wǎng)絡(luò)本身，進(jìn)而改進(jìn)神經(jīng)網(wǎng)絡(luò)的輸出值。

1.10學(xué)習(xí)來自多個(gè)節(jié)點(diǎn)的權(quán)重
? ? ? ? 因?yàn)檩敵龊驼`差是多個(gè)節(jié)點(diǎn)共同作用的結(jié)果，如何更新權(quán)重？
? ? ? ?（1）在所有造成誤差的節(jié)點(diǎn)中平分誤差。將輸出誤差平分至上兩個(gè)節(jié)點(diǎn)。
? ? ? ?（2）不等分誤差，給較大鏈接權(quán)重分配更多誤差，根據(jù)比例進(jìn)行誤差的分配。
? ? ? ? ?權(quán)重的使用：
? ? ? ? ?第一件事情，在神經(jīng)網(wǎng)絡(luò)中，我們使用權(quán)重將信號(hào)從輸入向前傳播到輸出層；第二件事情，使用權(quán)重，將誤差從輸出向后傳播至網(wǎng)絡(luò)中，這種方法稱為反向傳播。

1.11多個(gè)輸出節(jié)點(diǎn)反向傳播誤差
? ? ? ?我們將第一個(gè)輸出節(jié)點(diǎn)的誤差標(biāo)記為e1，e1等于訓(xùn)練數(shù)據(jù)t1所提供的期望值與實(shí)際輸出值O1之間的差，按照權(quán)重比例w1,1和w2,1分割誤差e1。w1,1和w2,1分別為6和3，用于更新w1,1的e1部分是2/3。
? ? ? ?使用誤差指導(dǎo)在網(wǎng)絡(luò)內(nèi)部如何調(diào)整一些參數(shù)，在這里也就是鏈接權(quán)重。那么若是神經(jīng)網(wǎng)絡(luò)大于二層，會(huì)如何更新權(quán)重呢？

1.12反向傳播誤差到更多層
? ? ? ? 三層神經(jīng)網(wǎng)絡(luò)。假設(shè)輸出的誤差標(biāo)記為eoutput，將在輸出層和隱藏層之間的鏈接權(quán)重標(biāo)記為who，通過誤差按照權(quán)重比例分割，我們計(jì)算每條鏈接相關(guān)的特定誤差值。核心在于我們只知道最終輸出的節(jié)點(diǎn)是多少，而不知道中間其它層的節(jié)點(diǎn)輸出應(yīng)該是多少？
? ? ? ? 可以使用看到的誤差反向傳播，為鏈接重組分割的誤差。因此第一個(gè)隱藏層節(jié)點(diǎn)的誤差是與這個(gè)節(jié)點(diǎn)前向連接中分割誤差的和。
ehidden,1=鏈接W1,1和鏈接W1,2的分割誤差之和
? ? ? ? ? ? ? ? =eoutput,1 * w1,1 /(w1,1+w2,1)+=eoutput,2 * w1,2 /(w1,2+w2,2)
? ? ? ? ? ? ? ? =0.8*2/(2+3)+0.5*1/(1+4)
? ? ? ? ? ? ? ? =0.42

關(guān)鍵點(diǎn)：
? ? ? 1.神經(jīng)網(wǎng)絡(luò)通過調(diào)整鏈接權(quán)重進(jìn)行學(xué)習(xí)，這種方法由誤差引導(dǎo)，誤差就是訓(xùn)練數(shù)據(jù)所給出正確答案和實(shí)際輸出之間的差值。
? ? ? 2.輸出節(jié)點(diǎn)處的誤差等于所需值與實(shí)際值之間的差值
? ? ? 3.內(nèi)部節(jié)點(diǎn)相關(guān)聯(lián)的誤差并不是顯而易見的，按照鏈路權(quán)重的比例來分割來分割輸出層的誤差，再在每個(gè)內(nèi)部節(jié)點(diǎn)處重組這些誤差。

1.13使用矩陣乘法來進(jìn)行反向傳播誤差
? ? ? 將過程矢量化。計(jì)算起點(diǎn)是輸出層所出現(xiàn)的誤差。由上面的分析可知：

? ? ? ? 更新矩陣乘法以代替。第一個(gè)矩陣其實(shí)是一個(gè)轉(zhuǎn)置后的矩陣。

? ? ? ? ? 所以最終的結(jié)果為：

? ? ? ?切除歸一化因子相對于之前復(fù)雜的方法依然有效。反饋過大過小依然可以自行糾正。鏈接權(quán)重的強(qiáng)度給出了共享誤差最好的提示。
關(guān)鍵點(diǎn)：
? ? ? ?1.反向傳播誤差可以表示為矩陣乘法
? ? ? ?2.無論網(wǎng)絡(luò)規(guī)模大小，這是我們能夠簡潔表達(dá)反向傳播誤差，同時(shí)計(jì)算機(jī)處理矩陣運(yùn)算會(huì)比較快。
? ? ? ?3.前向饋送信號(hào)和反向傳播誤差都可以使用矩陣計(jì)算而變得高效。

? ? ? ?有時(shí)候一篇文章太長也不是好事，容易讓人覺得看的很累，那么下一章再講如何更新權(quán)重、更新權(quán)重的示例以及神經(jīng)網(wǎng)絡(luò)的準(zhǔn)備布局。

? ? ?安卓開發(fā)交流群：651325026，歡迎大家入群交流。??

總結(jié)

以上是生活随笔為你收集整理的Python神经网络编程（一）之神经网络如何工作的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。