神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（英語：Artificial Neural Network，ANN），簡稱神經(jīng)網(wǎng)絡(luò)（Neural Network，NN）或類神經(jīng)網(wǎng)絡(luò)，在機器學(xué)習(xí)和認(rèn)知科學(xué)領(lǐng)域，是一種模仿生物神經(jīng)網(wǎng)絡(luò)（動物的中樞神經(jīng)系統(tǒng)，特別是大腦）的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計算模型，用于對函數(shù)進行估計或近似。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進行計算。大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)，是一種自適應(yīng)系統(tǒng)，通俗的講就是具備學(xué)習(xí)功能。現(xiàn)代神經(jīng)網(wǎng)絡(luò)是一種非線性統(tǒng)計性數(shù)據(jù)建模工具。典型的神經(jīng)網(wǎng)絡(luò)具有以下三個部分：

• 結(jié)構(gòu)（Architecture）結(jié)構(gòu)指定了網(wǎng)絡(luò)中的變量和它們的拓?fù)潢P(guān)系。例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是神經(jīng)元連接的權(quán)重（weights）和神經(jīng)元的激勵值（activities of the neurons）。
• 激勵函數(shù)（Activity Rule）大部分神經(jīng)網(wǎng)絡(luò)模型具有一個短時間尺度的動力學(xué)規(guī)則，來定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動來改變自己的激勵值。一般激勵函數(shù)依賴于網(wǎng)絡(luò)中的權(quán)重（即該網(wǎng)絡(luò)的參數(shù)）。
• 學(xué)習(xí)規(guī)則（Learning Rule）學(xué)習(xí)規(guī)則指定了網(wǎng)絡(luò)中的權(quán)重如何隨著時間推進而調(diào)整。這一般被看做是一種長時間尺度的動力學(xué)規(guī)則。一般情況下，學(xué)習(xí)規(guī)則依賴于神經(jīng)元的激勵值。它也可能依賴于監(jiān)督者提供的目標(biāo)值和當(dāng)前權(quán)重的值。例如，用于手寫識別的一個神經(jīng)網(wǎng)絡(luò)，有一組輸入神經(jīng)元。輸入神經(jīng)元會被輸入圖像的數(shù)據(jù)所激發(fā)。在激勵值被加權(quán)并通過一個函數(shù)（由網(wǎng)絡(luò)的設(shè)計者確定）后，這些神經(jīng)元的激勵值被傳遞到其他神經(jīng)元。這個過程不斷重復(fù)，直到輸出神經(jīng)元被激發(fā)。最后，輸出神經(jīng)元的激勵值決定了識別出來的是哪個字母。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　—————來自維基百科

非線性假設(shè)（Non-linear hypotheses)

神經(jīng)網(wǎng)絡(luò)是一種古老的算法。早期的神經(jīng)網(wǎng)絡(luò)之所以沒有被人關(guān)注，因為當(dāng)時的計算機運行速度不行。現(xiàn)在神經(jīng)網(wǎng)絡(luò)可用于處理大規(guī)模數(shù)據(jù)的機器學(xué)習(xí)。

神經(jīng)元與大腦(Neurons and the brain)

神經(jīng)網(wǎng)絡(luò)的起源與發(fā)展歷程

?

模型展示1(Model representation)

樹突(Dendrite)：input作用，接收來自其他神經(jīng)元的信息。

軸突(Axon)：output作用，給其他神經(jīng)元傳遞信號或者傳遞信息。

神經(jīng)元(Neuron)：神經(jīng)元是一個計算單元，它從輸入通道接收一定數(shù)目的信息，并做一定的計算，然后結(jié)果通過它的軸突傳送到其他節(jié)點，或者大腦中的其他神經(jīng)元。

神經(jīng)網(wǎng)絡(luò)中，第一層為輸入層，最后一層為輸出層，中間的層次都叫隱藏層，可以有不止一個隱藏層。

神經(jīng)網(wǎng)絡(luò)其實是一組神經(jīng)元鏈接在一起的集合。激活項：由一個具體神經(jīng)元計算并輸出的值。

模型展示2(Model representation)

?前向傳播：輸入層——隱藏層——輸出層

?

多元分類(Multi-class classfication)

多元分類，即具有多個輸出單元

?

轉(zhuǎn)載于:https://www.cnblogs.com/haifengbolgs/p/9367381.html

總結(jié)

以上是生活随笔為你收集整理的初识机器学习——吴恩达《Machine Learning》学习笔记（八）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。