人腦模擬

　　深度學(xué)習(xí)背后的主要原因是人工智能應(yīng)該從人腦中汲取靈感。此觀點(diǎn)引出了“神經(jīng)網(wǎng)絡(luò)”這一術(shù)語(yǔ)。人 腦中 包含 數(shù) 十億個(gè)神經(jīng)元，它 們 之間有 數(shù) 萬(wàn)個(gè) 連 接。很多情況下，深度學(xué)習(xí)算法和人腦相似，因?yàn)槿四X和深度學(xué)習(xí)模型都擁有大量的編譯單元(神經(jīng)元)，這些編譯單元(神經(jīng)元)在獨(dú)立的情況下都不太智能，但是當(dāng)他們相互作用時(shí)就會(huì)變得智能。

　　我認(rèn)為人們需要了解到深度學(xué)習(xí)正在使得很多幕后的事物變得更好。深度學(xué)習(xí)已經(jīng)應(yīng)用于谷歌搜索和圖像搜索，你可以通過(guò)它搜索像“擁抱”這樣的詞語(yǔ)以獲得相應(yīng)的圖像。

神經(jīng)元

　　神經(jīng)網(wǎng)絡(luò)的基本構(gòu)建模塊是人工神經(jīng)元，它模仿了人類(lèi)大腦的神經(jīng)元。這些神經(jīng)元是簡(jiǎn)單、強(qiáng)大的計(jì)算單元，擁有加權(quán)輸入信號(hào)并且使用激活函數(shù)產(chǎn)生輸出信號(hào)。這些神經(jīng)元分布在神經(jīng)網(wǎng)絡(luò)的幾個(gè)層中。

inputs 輸入 outputs 輸出 weights 權(quán)值 activation 激活

　　人工神經(jīng)網(wǎng)絡(luò)的工作原理是什么?

　　深度學(xué)習(xí)由人工神經(jīng)網(wǎng)絡(luò)構(gòu)成，該網(wǎng)絡(luò)模擬了人腦中類(lèi)似的網(wǎng)絡(luò)。當(dāng)數(shù)據(jù)穿過(guò)這個(gè)人工網(wǎng)絡(luò)時(shí)，每一層都會(huì)處理這個(gè)數(shù)據(jù)的一方面，過(guò)濾掉異常值，辨認(rèn)出熟悉的實(shí)體，并產(chǎn)生最終輸出。　　輸入層：該層由神經(jīng)元組成，這些神經(jīng)元只接收輸入信息并將它傳遞到其他層。輸入層的圖層數(shù)應(yīng)等于數(shù)據(jù)集里的屬性或要素的數(shù)量。輸出層：輸出層具有預(yù)測(cè)性，其主要取決于你所構(gòu)建的模型類(lèi)型。隱含層：隱含層處于輸入層和輸出層之間，以模型類(lèi)型為基礎(chǔ)。隱含層包含大量的神經(jīng)元。處于隱含層的神經(jīng)元會(huì)先轉(zhuǎn)化輸入信息，再將它們傳遞出去。隨著網(wǎng)絡(luò)受訓(xùn)練，權(quán)重得到更新，從而使其更具前瞻性。神經(jīng)元的權(quán)重　　權(quán)重是指兩個(gè)神經(jīng)元之間的連接的強(qiáng)度或幅度。你如果熟悉線性回歸的話，可以將輸入的權(quán)重類(lèi)比為我們?cè)诨貧w方程中用的系數(shù)。權(quán)重通常被初始化為小的隨機(jī)數(shù)值，比如數(shù)值0-1。前饋深度網(wǎng)絡(luò)　　前饋監(jiān)督神經(jīng)網(wǎng)絡(luò)曾是第一個(gè)也是最成功的學(xué)習(xí)算法。該網(wǎng)絡(luò)也可被稱(chēng)為深度網(wǎng)絡(luò)、多層感知機(jī)(MLP)或簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)，并且闡明了具有單一隱含層的原始架構(gòu)。每個(gè)神經(jīng)元通過(guò)某個(gè)權(quán)重和另一個(gè)神經(jīng)元相關(guān)聯(lián)。　　該網(wǎng)絡(luò)處理向前處理輸入信息， 激活 神經(jīng)元，最終產(chǎn)生輸出值。在此網(wǎng)絡(luò)中，這稱(chēng)為前向傳遞。

input layer 輸入層 hidden layer 輸出層 output layer 輸出層

激活函數(shù)

　　激活函數(shù)就是求和加權(quán)的輸入到神經(jīng)元的輸出的映射。之所以稱(chēng)之為激活函數(shù)或傳遞函數(shù)是因?yàn)樗刂浦せ钌窠?jīng)元的初始值和輸出信號(hào)的強(qiáng)度。用數(shù)學(xué)表示為：　　我們有許多激活函數(shù)，其中使用最多的是整流線性單元函數(shù)、雙曲正切函數(shù)和solfPlus函數(shù)。激活函數(shù)的速查表如下：

反向傳播

　　在網(wǎng)絡(luò)中，我們將預(yù)測(cè)值與預(yù)期輸出值相比較，并使用函數(shù)計(jì)算其誤差。然后，這個(gè)誤差會(huì)傳回這個(gè)網(wǎng)絡(luò)，每次傳回一個(gè)層，權(quán)重也會(huì)根據(jù)其導(dǎo)致的誤差值進(jìn)行更新。這個(gè)聰明的數(shù)學(xué)法是 反向傳播算法 。這個(gè)步驟會(huì)在訓(xùn)練數(shù)據(jù)的所有樣本中反復(fù)進(jìn)行，整個(gè)訓(xùn)練數(shù)據(jù)集的網(wǎng)絡(luò)更新一輪稱(chēng)為一個(gè)時(shí)期。一個(gè)網(wǎng)絡(luò)可受訓(xùn)練數(shù)十、數(shù)百或數(shù)千個(gè)時(shí)期。　　

prediction error 預(yù)測(cè)誤差

代價(jià)函數(shù)和梯度下降

　　代價(jià)函數(shù)度量了神經(jīng)網(wǎng)絡(luò)對(duì)給定的訓(xùn)練輸入和預(yù)期輸出“有多好”。該函數(shù)可能取決于權(quán)重、偏差等屬性。　　代價(jià)函數(shù)是單值的，并不是一個(gè)向量，因?yàn)樗鼜恼w上評(píng)估神經(jīng)網(wǎng)絡(luò)的性能。在運(yùn)用梯度下降最優(yōu)算法時(shí)，權(quán)重在每個(gè)時(shí)期后都會(huì)得到增量式地更新。兼容代價(jià)函數(shù)用數(shù)學(xué)表述為差值平方和：

target 目標(biāo)值 output 輸出值

　　權(quán)重更新的大小和方向是由在代價(jià)梯度的反向上采取步驟計(jì)算出的。

其中 η 是學(xué)習(xí)率

　　其中Δ w 是包含每個(gè)權(quán)重系數(shù)w的權(quán)重更新的向量，其計(jì)算方式如下：

target 目標(biāo)值 output 輸出值

圖表中會(huì)考慮到單系數(shù)的代價(jià)函數(shù)

　　initial weight 初始權(quán)重 gradient 梯度 global cost minimum 代價(jià)極小值　　在導(dǎo)數(shù)達(dá)到最小誤差值之前，我們會(huì)一直計(jì)算梯度下降，并且每個(gè)步驟都會(huì)取決于斜率(梯度)的陡度。多層感知器(前向傳播)　　這類(lèi)網(wǎng)絡(luò)由多層神經(jīng)元組成，通常這些神經(jīng)元以前饋方式(向前傳播)相互連接。一層中的每個(gè)神經(jīng)元可以直接連接后續(xù)層的神經(jīng)元。在許多應(yīng)用中，這些網(wǎng)絡(luò)的單元會(huì)采用S型函數(shù)或整流線性單元(整流線性激活)函數(shù)作為 激活函數(shù) 。　　現(xiàn)在想想看要找出處理次數(shù)這個(gè)問(wèn)題，給定的賬戶和家庭成員作為輸入　　要解決這個(gè)問(wèn)題，首先，我們需要先創(chuàng)建一個(gè)前向傳播神經(jīng)網(wǎng)絡(luò)。我們的輸入層將是家庭成員和賬戶的數(shù)量，隱含層數(shù)為1， 輸出層將是處理次數(shù)。　　將圖中輸入層到輸出層的給定權(quán)重作為輸入：家庭成員數(shù)為2、賬戶數(shù)為3。　　現(xiàn)在將通過(guò)以下步驟使用前向傳播來(lái)計(jì)算隱含層(i，j)和輸出層(k)的值。　　步驟：　　1 ， 乘法-添加方法。　　2 ， 點(diǎn)積(輸入*權(quán)重)。　　3 ，一次一個(gè)數(shù)據(jù)點(diǎn)的前向傳播。　　4 ， 輸出是該數(shù)據(jù)點(diǎn)的預(yù)測(cè)。

i 的值將從相連接的神經(jīng)元所對(duì)應(yīng)的輸入值和權(quán)重中計(jì)算出來(lái)。

i = (2 * 1) + (3 * 1) → i = 5

同樣地，j = (2 * -1) + (3 * 1) → j = 1

K = (5 * 2) + (1 * -1) → k = 9

Python中的多層感知器問(wèn)題的解決

激活函數(shù)的使用

　　為了使神經(jīng)網(wǎng)絡(luò)達(dá)到其最大預(yù)測(cè)能力，我們需要在隱含層應(yīng)用一個(gè)激活函數(shù)，以捕捉非線性。我們通過(guò)將值代入方程式的方式來(lái)在輸入層和輸出層應(yīng)用激活函數(shù)。　　這里我們使用整流線性激活(ReLU):

用Keras開(kāi)發(fā)第一個(gè)神經(jīng)網(wǎng)絡(luò)

關(guān)于Keras：

　　Keras 是一個(gè)高級(jí)神經(jīng)網(wǎng)絡(luò)的應(yīng)用程序編程接口，由Python編寫(xiě)，能夠搭建在 TensorFlow , CNTK , 或 Theano 上。　　使用PIP在設(shè)備上安裝Keras,并且運(yùn)行下列指令。　　在keras執(zhí)行深度學(xué)習(xí)程序的步驟　　1 ，加載數(shù)據(jù);　　2 ，創(chuàng)建模型;　　3 ，編譯模型;　　4 ，擬合模型;　　5 ，評(píng)估模型;開(kāi)發(fā)Keras模型　　全連接層用Dense表示。我們可以指定層中神經(jīng)元的數(shù)量作為第一參數(shù)，指定初始化方法為第二參數(shù)，即初始化參數(shù)，并且用激活參數(shù)確定激活函數(shù)。既然模型已經(jīng)創(chuàng)建，我們就可以 編譯它。我們?cè)诘讓訋?kù)(也稱(chēng)為后端)用高效數(shù)字庫(kù)編譯模型，底層庫(kù)可以用Theano或TensorFlow。目前為止，我們已經(jīng)完成了創(chuàng)建模型和編譯模型，為進(jìn)行有效計(jì)算做好了準(zhǔn)備。現(xiàn)在可以在PIMA數(shù)據(jù)上運(yùn)行模型了。我們可以在模型上調(diào)用擬合函數(shù)f()，以在數(shù)據(jù)上訓(xùn)練或擬合模型。我們先從KERAS中的程序開(kāi)始，　　神經(jīng)網(wǎng)絡(luò)一直訓(xùn)練到150個(gè)時(shí)期，并返回精確值。

總結(jié)

以上是生活随笔為你收集整理的感知器算法的基本原理和步骤_很多情况下，深度学习算法和人脑相似的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。