一、人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

? ? ? ? 人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANN)基本組成成分是：輸入(感知)器、加權(quán)求和(信息匯聚)、傳遞(信息傳輸)器、輸出(響應(yīng))器組成。

? ? ? ? 決定神經(jīng)網(wǎng)絡(luò)信息處理性能的三大要素：激勵(lì)函數(shù)、學(xué)習(xí)算法、拓?fù)浣Y(jié)構(gòu)。

?二、人工神經(jīng)網(wǎng)絡(luò)研究熱點(diǎn)

?①激勵(lì)函數(shù)——反應(yīng)神經(jīng)元輸入累積和與輸出之間的函數(shù)關(guān)系。

? ? 激活函數(shù)的種類(lèi)：線(xiàn)性恒等函數(shù)；閾值型激勵(lì)函數(shù)(如階躍函數(shù))；非線(xiàn)性激勵(lì)函數(shù)(常指sigmod函數(shù)，即S形函數(shù)，分為單極性S形函數(shù)和雙極性S形函數(shù)兩種)；分段線(xiàn)性函數(shù)概率型激勵(lì)函數(shù)(利用一個(gè)隨機(jī)函數(shù)來(lái)描述輸出狀態(tài)為1或0的概率，它重點(diǎn)描述狀態(tài)的統(tǒng)計(jì)概率)。

? 目前關(guān)于激活函數(shù)的研究有兩個(gè)方向：1>復(fù)雜形勢(shì)的函數(shù)用作激勵(lì)函數(shù)；2>某線(xiàn)性無(wú)關(guān)或正交的函數(shù)系。前者有可調(diào)激勵(lì)函數(shù)(Tunable Activation Function，TAF)神經(jīng)元模型，具有可調(diào)節(jié)的權(quán)值、閾值(偏置)、激勵(lì)函數(shù)族的參數(shù)，優(yōu)點(diǎn)是學(xué)習(xí)速度快，網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，逼近性能好。后者用線(xiàn)性無(wú)關(guān)或者正交的函數(shù)組作為激勵(lì)函數(shù)的神經(jīng)網(wǎng)絡(luò)被稱(chēng)為基函數(shù)神經(jīng)網(wǎng)絡(luò)，包括：高斯基函數(shù)神經(jīng)網(wǎng)絡(luò)，徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，小波基函數(shù)神經(jīng)網(wǎng)絡(luò)，傅里葉基函數(shù)神經(jīng)網(wǎng)絡(luò)，正交多項(xiàng)式基函數(shù)，Legendre正交基錢(qián)箱神經(jīng)網(wǎng)絡(luò)，Laguerre正交基前向神經(jīng)網(wǎng)絡(luò)，Gegenbauer神經(jīng)網(wǎng)絡(luò)，Hermite前向神經(jīng)網(wǎng)絡(luò)，復(fù)指數(shù)Fourier神經(jīng)元網(wǎng)絡(luò)等神經(jīng)網(wǎng)絡(luò)模型。

②學(xué)習(xí)算法——為使神經(jīng)網(wǎng)絡(luò)執(zhí)行某種任務(wù)，需使用有效的學(xué)習(xí)算法來(lái)調(diào)節(jié)神經(jīng)元的互聯(lián)權(quán)值或偏置，這就算神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)修正過(guò)程。

? ? ?1>有監(jiān)督學(xué)習(xí)(有教師學(xué)習(xí))：采用糾錯(cuò)規(guī)則，在學(xué)習(xí)過(guò)程中需要提供與網(wǎng)絡(luò)輸入相對(duì)應(yīng)的期望輸出，并根據(jù)神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間的誤差信號(hào)對(duì)應(yīng)地調(diào)整網(wǎng)絡(luò)的連接權(quán)值以使該誤差不斷縮小，進(jìn)而使得下一次學(xué)習(xí)完成后該神經(jīng)網(wǎng)絡(luò)的輸出更接近期望結(jié)果，直至達(dá)到所要求的逼近精度(性能指標(biāo))。

? ? ?2>無(wú)監(jiān)督學(xué)習(xí)(無(wú)教師學(xué)習(xí))：神經(jīng)網(wǎng)絡(luò)根據(jù)其特有的結(jié)構(gòu)、外部輸入信號(hào)特征和學(xué)習(xí)規(guī)則來(lái)調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)，其結(jié)果是使神經(jīng)網(wǎng)絡(luò)的輸出能夠反映輸入的某種固有特性。一般認(rèn)為這種學(xué)習(xí)模式中神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于網(wǎng)絡(luò)內(nèi)部。

? ? 3>混合型學(xué)習(xí)算法

? ? 4>強(qiáng)化學(xué)習(xí)算法

? ? 5>預(yù)置型學(xué)習(xí)算法

☆☆權(quán)值調(diào)整算法：典型的就是最速梯度下降的誤差回傳算法，可搜索到最優(yōu)連接權(quán)值，但迭代(收斂)時(shí)間長(zhǎng)，易陷入局部極小值，學(xué)習(xí)精度不高，學(xué)習(xí)率難選取。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 基于矩陣逆和偽逆的思想嘗試直接確定該類(lèi)神經(jīng)網(wǎng)絡(luò)的最優(yōu)權(quán)值，有點(diǎn)是在ms級(jí)的時(shí)間內(nèi)直接計(jì)算確定該類(lèi)神經(jīng)網(wǎng)絡(luò)的最優(yōu)連接權(quán)值，學(xué)習(xí)精度也大大提高。

③拓?fù)浣Y(jié)構(gòu)

? ? ? 1>前向網(wǎng)絡(luò)：多采用層次型結(jié)構(gòu)，以層的形式組織起來(lái)，各層順序相聯(lián)，網(wǎng)絡(luò)中各神經(jīng)元接收前一級(jí)的輸入，并輸出到下一級(jí)，神經(jīng)元自身及神經(jīng)元之間都不存在連接，即網(wǎng)絡(luò)中沒(méi)有反饋型物理連接。由輸入層，隱藏層，輸出層構(gòu)成。隱層神經(jīng)元不與外接發(fā)生直接的聯(lián)系，它從網(wǎng)絡(luò)內(nèi)部接受輸入信息，所產(chǎn)生的輸出也只作用于該神經(jīng)網(wǎng)絡(luò)中的其他神經(jīng)元。隱節(jié)點(diǎn)過(guò)少，學(xué)習(xí)達(dá)不到期望的收斂精度；相反，隱節(jié)點(diǎn)過(guò)多，網(wǎng)絡(luò)學(xué)習(xí)性能得到加強(qiáng)。隱神經(jīng)元數(shù)目的選取直接影響到神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和網(wǎng)絡(luò)性能。

? ? ? 2>反饋型網(wǎng)絡(luò)：是一種從輸出到輸入或網(wǎng)絡(luò)各層具有反饋連接的網(wǎng)絡(luò)結(jié)構(gòu)。在反饋網(wǎng)絡(luò)中，輸入信號(hào)決定網(wǎng)絡(luò)的初始狀態(tài)，經(jīng)過(guò)一系列變換(轉(zhuǎn)移)后網(wǎng)絡(luò)逐漸穩(wěn)定和接近平衡狀態(tài)(穩(wěn)態(tài))，穩(wěn)態(tài)結(jié)果就作為反饋網(wǎng)絡(luò)的最終結(jié)果而輸出。

☆☆典型的錢(qián)箱神經(jīng)網(wǎng)絡(luò)是反向誤差傳播神經(jīng)網(wǎng)絡(luò)(Error Back Propagation Neural Network，BP神經(jīng)網(wǎng)絡(luò))，而典型的反饋神經(jīng)網(wǎng)絡(luò)是Hopfield類(lèi)型神經(jīng)網(wǎng)絡(luò)。

總結(jié)

以上是生活随笔為你收集整理的人工神经网络——笔记摘抄1的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。