1、BP人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（artificialneuralnetwork，ANN）指由大量與自然神經(jīng)系統(tǒng)相類似的神經(jīng)元聯(lián)結(jié)而成的網(wǎng)絡(luò)，是用工程技術(shù)手段模擬生物網(wǎng)絡(luò)結(jié)構(gòu)特征和功能特征的一類人工系統(tǒng)。神經(jīng)網(wǎng)絡(luò)不但具有處理數(shù)值數(shù)據(jù)的一般計(jì)算能力，而且還具有處理知識(shí)的思維、學(xué)習(xí)、記憶能力，它采用類似于“黑箱”的方法，通過學(xué)習(xí)和記憶，找出輸入、輸出變量之間的非線性關(guān)系（映射），在執(zhí)行問題和求解時(shí)，將所獲取的數(shù)據(jù)輸入到已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)，依據(jù)網(wǎng)絡(luò)學(xué)到的知識(shí)進(jìn)行網(wǎng)絡(luò)推理，得出合理的答案與結(jié)果。

巖土工程中的許多問題是非線性問題，變量之間的關(guān)系十分復(fù)雜，很難用確切的數(shù)學(xué)、力學(xué)模型來描述。工程現(xiàn)場(chǎng)實(shí)測(cè)數(shù)據(jù)的代表性與測(cè)點(diǎn)的位置、范圍和手段有關(guān)，有時(shí)很難滿足傳統(tǒng)統(tǒng)計(jì)方法所要求的統(tǒng)計(jì)條件和規(guī)律，加之巖土工程信息的復(fù)雜性和不確定性，因而運(yùn)用神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)巖土工程問題的求解是合適的。

BP神經(jīng)網(wǎng)絡(luò)模型是誤差反向傳播（BackPagation）網(wǎng)絡(luò)模型的簡稱。它由輸入層、隱含層和輸出層組成。網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)網(wǎng)絡(luò)各層節(jié)點(diǎn)間連接權(quán)逐步修改的過程，這一過程由兩部分組成：正向傳播和反向傳播。正向傳播是輸入模式從輸入層經(jīng)隱含層處理傳向輸出層；反向傳播是均方誤差信息從輸出層向輸入層傳播，將誤差信號(hào)沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號(hào)最小。

BP神經(jīng)網(wǎng)絡(luò)模型在建立及應(yīng)用過程中，主要存在的不足和建議有以下四個(gè)方面：

（1）對(duì)于神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)愈多，網(wǎng)絡(luò)的訓(xùn)練效果愈佳，也更能反映實(shí)際。但在實(shí)際操作中，由于條件的限制很難選取大量的樣本值進(jìn)行訓(xùn)練，樣本數(shù)量偏少。

（2）BP網(wǎng)絡(luò)模型其計(jì)算速度較慢、無法表達(dá)預(yù)測(cè)量與其相關(guān)參數(shù)之間親疏關(guān)系。

（3）以定量數(shù)據(jù)為基礎(chǔ)建立模型，若能收集到充分資料，以定性指標(biāo)（如基坑降水方式、基坑支護(hù)模式、施工工況等）和一些易獲取的定量指標(biāo)作為輸入層，以評(píng)價(jià)等級(jí)作為輸出層，這樣建立的BP網(wǎng)絡(luò)模型將更準(zhǔn)確全面。

（4）BP人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有非線性、智能的特點(diǎn)。較好地考慮了定性描述和定量計(jì)算、精確邏輯分析和非確定性推理等方面，但由于樣本不同，影響要素的權(quán)重不同，以及在根據(jù)先驗(yàn)知識(shí)和前人的經(jīng)驗(yàn)總結(jié)對(duì)定性參數(shù)進(jìn)行量化處理，必然會(huì)影響評(píng)價(jià)的客觀性和準(zhǔn)確性。因此，在實(shí)際評(píng)價(jià)中只有根據(jù)不同的基坑施工工況、不同的周邊環(huán)境條件，應(yīng)不同用戶的需求，選擇不同的分析指標(biāo)，才能滿足復(fù)雜工況條件下地質(zhì)環(huán)境評(píng)價(jià)的要求，取得較好的應(yīng)用效果。

谷歌人工智能寫作項(xiàng)目：小發(fā)貓

2、人工神經(jīng)網(wǎng)絡(luò)可以用來優(yōu)化一堆離散數(shù)據(jù)嗎？詳細(xì)詢問見內(nèi)

人工神經(jīng)網(wǎng)絡(luò)也是可以處理離散問題的，就是輸出端對(duì)于每個(gè)值屬于哪個(gè)類別進(jìn)行對(duì)應(yīng)，輸入值也是如此，先進(jìn)行數(shù)值化人工神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)收集。
至于能否得到輸出值在50附近，跟你采集的數(shù)據(jù)樣本有關(guān)，這關(guān)系到網(wǎng)絡(luò)的復(fù)雜性，層數(shù)，數(shù)據(jù)點(diǎn)之間的相關(guān)性，一般來說通過計(jì)算智能的方法就是讓其自己學(xué)習(xí)然后具備處理能力，而不是人為讓其朝某個(gè)數(shù)據(jù)偏移。

3、人工神經(jīng)網(wǎng)絡(luò)的知識(shí)表示形式和推理機(jī)制

神經(jīng)網(wǎng)絡(luò)有多種分類方式，例如，按網(wǎng)絡(luò)性能可分為連續(xù)型與離散型網(wǎng)絡(luò)，確定型與隨機(jī)型網(wǎng)絡(luò):按網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可分為前向神經(jīng)網(wǎng)絡(luò)與反饋神經(jīng)網(wǎng)絡(luò)。本章土要簡介前向神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)和自組織特征映射神經(jīng)網(wǎng)絡(luò)。

前向神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)挖掘中廣為應(yīng)用的一種網(wǎng)絡(luò)，其原理或算法也是很多神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)就是一種前向型神經(jīng)網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)的代表。Hvpfi}ld網(wǎng)絡(luò)的原型是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，目前，已經(jīng)在聯(lián)想記憶和優(yōu)化計(jì)算中得到成功應(yīng)用。

基本特征

非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性關(guān)系。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯(cuò)性和存儲(chǔ)容量。

一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛連接而成。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子。

以上內(nèi)容參考：

4、　人工神經(jīng)網(wǎng)絡(luò)分類方法

從20世紀(jì)80年代末期，人工神經(jīng)網(wǎng)絡(luò)方法開始應(yīng)用于遙感圖像的自動(dòng)分類。目前，在遙感圖像的自動(dòng)分類方面，應(yīng)用和研究比較多的人工神經(jīng)網(wǎng)絡(luò)方法主要有以下幾種：

（1）BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)，這是一種應(yīng)用較廣泛的前饋式網(wǎng)絡(luò)，屬于有監(jiān)督分類算法，它將先驗(yàn)知識(shí)融于網(wǎng)絡(luò)學(xué)習(xí)之中，加以最大限度地利用，適應(yīng)性好，在類別數(shù)少的情況下能夠得到相當(dāng)高的精度，但是其網(wǎng)絡(luò)的學(xué)習(xí)主要采用誤差修正算法，識(shí)別對(duì)象種類多時(shí)，隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大，需要的計(jì)算過程較長，收斂緩慢而不穩(wěn)定，且識(shí)別精度難以達(dá)到要求。

（2）Hopfield神經(jīng)網(wǎng)絡(luò)。屬于反饋式網(wǎng)絡(luò)。主要采用Hebb規(guī)則進(jìn)行學(xué)習(xí)，一般情況下計(jì)算的收斂速度較快。這種網(wǎng)絡(luò)是美國物理學(xué)家J.J.Hopfield于1982年首先提出的，它主要用于模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機(jī)理。Hopfield神經(jīng)網(wǎng)絡(luò)狀態(tài)的演變過程是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，可以用一組非線性差分方程來描述。系統(tǒng)的穩(wěn)定性可用所謂的“能量函數(shù)”進(jìn)行分析，在滿足一定條件下，某種“能量函數(shù)”的能量在網(wǎng)絡(luò)運(yùn)行過程中不斷地減少，最后趨于穩(wěn)定的平衡狀態(tài)。Hopfield網(wǎng)絡(luò)的演變過程是一種計(jì)算聯(lián)想記憶或求解優(yōu)化問題的過程。

（3）Kohonen網(wǎng)絡(luò)。這是一種由芬蘭赫爾辛基大學(xué)神經(jīng)網(wǎng)絡(luò)專家Kohonen（1981）提出的自組織神經(jīng)網(wǎng)絡(luò)，其采用了無導(dǎo)師信息的學(xué)習(xí)算法，這種學(xué)習(xí)算法僅根據(jù)輸入數(shù)據(jù)的屬性而調(diào)整權(quán)值，進(jìn)而完成向環(huán)境學(xué)習(xí)、自動(dòng)分類和聚類等任務(wù)。其最大的優(yōu)點(diǎn)是最終的各個(gè)相鄰聚類之間是有相似關(guān)系的，即使識(shí)別時(shí)把樣本映射到了一個(gè)錯(cuò)誤的節(jié)點(diǎn)，它也傾向于被識(shí)別成同一個(gè)因素或者一個(gè)相近的因素，這就十分接近人的識(shí)別特性。

5、AI是否可以被精神分析？人工智能運(yùn)行的基礎(chǔ)原理到底是什么？

AI不可以被精神分析，人工智能的工作原理是，計(jì)算機(jī)使用傳感器（或人工輸入），將收集有關(guān)一個(gè)場(chǎng)景的事實(shí)。計(jì)算機(jī)將把這些信息與已經(jīng)存儲(chǔ)的信息進(jìn)行比較，以確定它的含義。計(jì)算機(jī)將根據(jù)它所收集的信息計(jì)算出各種可能的行動(dòng)，然后預(yù)測(cè)哪種行動(dòng)是最好的。計(jì)算機(jī)只能解決程序允許其解決的問題，不具備一般意義上的分析能力。

精神分析作為一種心理治療方法的有效性是有爭議的。關(guān)于人工智能也有很多爭議。把這些堆在自己身上，你可能會(huì)發(fā)現(xiàn)負(fù)面的消極因素。你可以先試著找一個(gè)拉康精神分析的AI。同時(shí)人工智能也可以被不明真相的人分析為人類。如果人工智能在這個(gè)過程中讓很大比例的人認(rèn)為它是人類，你就可以認(rèn)為人工智能已經(jīng)通過了圖靈測(cè)試。你可以看看“谷歌工程師聲稱 AI 已經(jīng)有意識(shí)”的這個(gè)故事，它在2022年曾熱過一陣子。

人工智能的演進(jìn)是有一定的邏輯關(guān)系的，從認(rèn)知開始，通過邏輯訓(xùn)練和深度學(xué)習(xí)，演變成神經(jīng)網(wǎng)絡(luò)的自我學(xué)習(xí)過程，這個(gè)過程非常漫長，從PC的誕生到現(xiàn)在的移動(dòng)互聯(lián)網(wǎng)。有了半個(gè)世紀(jì)的時(shí)間，有了建模的算法，基于通信技術(shù)的發(fā)展，我們進(jìn)入了第四代通信和半導(dǎo)體的GPU時(shí)代，這種現(xiàn)象才得以高速發(fā)展，我們知道百度發(fā)布了1版本。 2019年將實(shí)現(xiàn)0次無人駕駛。

人工智能是研究人類智能行動(dòng)的規(guī)律，構(gòu)建具有某種程度智能的人工系統(tǒng)，研究如何使計(jì)算機(jī)完成以前需要人類智能的任務(wù)，即研究如何利用計(jì)算機(jī)硬件和軟件來模擬人類智能行為的基本理論、方法和技術(shù)。人工智能是用機(jī)器模擬人思考和判斷的過程，一般人工智能包含兩個(gè)部分：算法和訓(xùn)練數(shù)據(jù)，通過算法和訓(xùn)練數(shù)據(jù)，得到一套思維和判斷方式，可以作用于現(xiàn)場(chǎng)數(shù)據(jù)的判決，這是人工智能的一般內(nèi)容。

6、深度學(xué)習(xí)中什么是人工神經(jīng)網(wǎng)絡(luò)？

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，即ANN ）是從信息處理角度對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象，是20世紀(jì)80年代以來人工智能領(lǐng)域興起的研究熱點(diǎn)，其本質(zhì)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成，在模式識(shí)別、智能機(jī)器人、自動(dòng)控制、生物、醫(yī)學(xué)、經(jīng)濟(jì)等領(lǐng)域已成功地解決了許多現(xiàn)代計(jì)算機(jī)難以解決的實(shí)際問題，表現(xiàn)出了良好的智能特性。

人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)，它是在現(xiàn)代 神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理。人工神經(jīng)網(wǎng)絡(luò)具有四個(gè)基本特征：

（1）非線性– 非線性關(guān)系是自然界的普遍特性，人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性

人工神經(jīng)網(wǎng)絡(luò)

關(guān)系。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯(cuò)性和存儲(chǔ)容量。

（2）非局限性– 一個(gè) 神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛連接而成。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想 記憶是非局限性的典型例子。

（3）非常定性 –人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時(shí)，非線性動(dòng)力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動(dòng)力系統(tǒng)的演化過程。

（4）非凸性–一個(gè)系統(tǒng)的演化方向，在一定條件下將取決于某個(gè)特定的狀態(tài)函數(shù)。例如 能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。
人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對(duì)象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部 世界的信號(hào)與數(shù)據(jù)；輸出單元實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能

人工神經(jīng)網(wǎng)絡(luò)

由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強(qiáng)度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。

總結(jié):人工神經(jīng)網(wǎng)絡(luò)是一種非程序化、 適應(yīng)性、大腦風(fēng)格的信息處理 ，其本質(zhì)是通過網(wǎng)絡(luò)的變換和動(dòng)力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。

7、神經(jīng)網(wǎng)絡(luò)算法的人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）系統(tǒng)是 20 世紀(jì) 40 年代后出現(xiàn)的。它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行處理、分布式信 息存儲(chǔ)、良好的自組織自學(xué)習(xí)能力等特點(diǎn)。BP（Back Propagation）算法又稱為誤差 反向傳播算法，是人工神經(jīng)網(wǎng)絡(luò)中的一種監(jiān)督式的學(xué)習(xí)算法。BP 神經(jīng)網(wǎng)絡(luò)算法在理 論上可以逼近任意函數(shù)，基本的結(jié)構(gòu)由非線性變化單元組成，具有很強(qiáng)的非線性映射能力。而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，在優(yōu)化、信號(hào)處理與模式識(shí)別、智能控制、故障診斷等許 多領(lǐng)域都有著廣泛的應(yīng)用前景。 人工神經(jīng)元的研究起源于腦神經(jīng)元學(xué)說。19世紀(jì)末，在生物、生理學(xué)領(lǐng)域，Waldeger等人創(chuàng)建了神經(jīng)元學(xué)說。人們認(rèn)識(shí)到復(fù)雜的神經(jīng)系統(tǒng)是由數(shù)目繁多的神經(jīng)元組合而成。大腦皮層包括有100億個(gè)以上的神經(jīng)元，每立方毫米約有數(shù)萬個(gè)，它們互相聯(lián)結(jié)形成神經(jīng)網(wǎng)絡(luò)，通過感覺器官和神經(jīng)接受來自身體內(nèi)外的各種信息，傳遞至中樞神經(jīng)系統(tǒng)內(nèi)，經(jīng)過對(duì)信息的分析和綜合，再通過運(yùn)動(dòng)神經(jīng)發(fā)出控制信息，以此來實(shí)現(xiàn)機(jī)體與內(nèi)外環(huán)境的聯(lián)系，協(xié)調(diào)全身的各種機(jī)能活動(dòng)。
神經(jīng)元也和其他類型的細(xì)胞一樣，包括有細(xì)胞膜、細(xì)胞質(zhì)和細(xì)胞核。但是神經(jīng)細(xì)胞的形態(tài)比較特殊，具有許多突起，因此又分為細(xì)胞體、軸突和樹突三部分。細(xì)胞體內(nèi)有細(xì)胞核，突起的作用是傳遞信息。樹突是作為引入輸入信號(hào)的突起，而軸突是作為輸出端的突起，它只有一個(gè)。
樹突是細(xì)胞體的延伸部分，它由細(xì)胞體發(fā)出后逐漸變細(xì)，全長各部位都可與其他神經(jīng)元的軸突末梢相互聯(lián)系，形成所謂“突觸”。在突觸處兩神經(jīng)元并未連通，它只是發(fā)生信息傳遞功能的結(jié)合部，聯(lián)系界面之間間隙約為（15～50)×10米。突觸可分為興奮性與抑制性兩種類型，它相應(yīng)于神經(jīng)元之間耦合的極性。每個(gè)神經(jīng)元的突觸數(shù)目正常，最高可達(dá)10個(gè)。各神經(jīng)元之間的連接強(qiáng)度和極性有所不同，并且都可調(diào)整、基于這一特性，人腦具有存儲(chǔ)信息的功能。利用大量神經(jīng)元相互聯(lián)接組成人工神經(jīng)網(wǎng)絡(luò)可顯示出人的大腦的某些特征。
人工神經(jīng)網(wǎng)絡(luò)是由大量的簡單基本元件——神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。每個(gè)神經(jīng)元的結(jié)構(gòu)和功能比較簡單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。
人工神經(jīng)網(wǎng)絡(luò)反映了人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是某種模仿、簡化和抽象。
與數(shù)字計(jì)算機(jī)比較，人工神經(jīng)網(wǎng)絡(luò)在構(gòu)成原理和功能特點(diǎn)等方面更加接近人腦，它不是按給定的程序一步一步地執(zhí)行運(yùn)算，而是能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運(yùn)算、識(shí)別或過程控制。
人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作。現(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)于寫“A”、“B”兩個(gè)字母的識(shí)別為例進(jìn)行說明，規(guī)定當(dāng)“A”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出“1”，而當(dāng)輸入為“B”時(shí)，輸出為“0”。
所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯(cuò)誤的的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)區(qū)間內(nèi)的隨機(jī)值，將“A”所對(duì)應(yīng)的圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門限比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說是完全隨機(jī)的。這時(shí)如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時(shí)，仍然能作出正確的判斷。
如果輸出為“0”(即結(jié)果錯(cuò)誤)，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時(shí)，減小犯同樣錯(cuò)誤的可能性。如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個(gè)手寫字母“A”、“B”后，經(jīng)過網(wǎng)絡(luò)按以上學(xué)習(xí)方法進(jìn)行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大提高。這說明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)，能夠作出迅速、準(zhǔn)確的判斷和識(shí)別。一般說來，網(wǎng)絡(luò)中所含的神經(jīng)元個(gè)數(shù)越多，則它能記憶、識(shí)別的模式也就越多。 （1）人類大腦有很強(qiáng)的自適應(yīng)與自組織特性，后天的學(xué)習(xí)與訓(xùn)練可以開發(fā)許多各具特色的活動(dòng)功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善于運(yùn)用手勢(shì)；訓(xùn)練有素的運(yùn)動(dòng)員可以表現(xiàn)出非凡的運(yùn)動(dòng)技巧等等。
普通計(jì)算機(jī)的功能取決于程序中給出的知識(shí)和能力。顯然，對(duì)于智能活動(dòng)要通過總結(jié)編制程序?qū)⑹掷щy。
人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過程中改變突觸權(quán)重值，以適應(yīng)周圍環(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識(shí)，以致超過設(shè)計(jì)者原有的知識(shí)水平。通常，它的學(xué)習(xí)訓(xùn)練方式可分為兩種，一種是有監(jiān)督或稱有導(dǎo)師的學(xué)習(xí)，這時(shí)利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類或模仿；另一種是無監(jiān)督學(xué)習(xí)或稱無為導(dǎo)師學(xué)習(xí)，這時(shí)，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，則具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境 （即輸入信號(hào)情況）而異，系統(tǒng)可以自動(dòng)發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。
（2）泛化能力
泛化能力指對(duì)沒有訓(xùn)練過的樣本，有很好的預(yù)測(cè)能力和控制能力。特別是，當(dāng)存在一些有噪聲的樣本，網(wǎng)絡(luò)具備很好的預(yù)測(cè)能力。
(3)非線性映射能力
當(dāng)對(duì)系統(tǒng)對(duì)于設(shè)計(jì)人員來說，很透徹或者很清楚時(shí)，則一般利用數(shù)值分析，偏微分方程等數(shù)學(xué)工具建立精確的數(shù)學(xué)模型，但當(dāng)對(duì)系統(tǒng)很復(fù)雜，或者系統(tǒng)未知，系統(tǒng)信息量很少時(shí)，建立精確的數(shù)學(xué)模型很困難時(shí)，神經(jīng)網(wǎng)絡(luò)的非線性映射能力則表現(xiàn)出優(yōu)勢(shì)，因?yàn)樗恍枰獙?duì)系統(tǒng)進(jìn)行透徹的了解，但是同時(shí)能達(dá)到輸入與輸出的映射關(guān)系，這就大大簡化設(shè)計(jì)的難度。
(4)高度并行性
并行性具有一定的爭議性。承認(rèn)具有并行性理由：神經(jīng)網(wǎng)絡(luò)是根據(jù)人的大腦而抽象出來的數(shù)學(xué)模型，由于人可以同時(shí)做一些事，所以從功能的模擬角度上看，神經(jīng)網(wǎng)絡(luò)也應(yīng)具備很強(qiáng)的并行性。
多少年以來，人們從醫(yī)學(xué)、生物學(xué)、生理學(xué)、哲學(xué)、信息學(xué)、計(jì)算機(jī)科學(xué)、認(rèn)知學(xué)、組織協(xié)同學(xué)等各個(gè)角度企圖認(rèn)識(shí)并解答上述問題。在尋找上述問題答案的研究過程中，這些年來逐漸形成了一個(gè)新興的多學(xué)科交叉技術(shù)領(lǐng)域，稱之為“神經(jīng)網(wǎng)絡(luò)”。神經(jīng)網(wǎng)絡(luò)的研究涉及眾多學(xué)科領(lǐng)域，這些領(lǐng)域互相結(jié)合、相互滲透并相互推動(dòng)。不同領(lǐng)域的科學(xué)家又從各自學(xué)科的興趣與特色出發(fā)，提出不同的問題，從不同的角度進(jìn)行研究。
下面將人工神經(jīng)網(wǎng)絡(luò)與通用的計(jì)算機(jī)工作特點(diǎn)來對(duì)比一下：
若從速度的角度出發(fā)，人腦神經(jīng)元之間傳遞信息的速度要遠(yuǎn)低于計(jì)算機(jī)，前者為毫秒量級(jí)，而后者的頻率往往可達(dá)幾百兆赫。但是，由于人腦是一個(gè)大規(guī)模并行與串行組合處理系統(tǒng)，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠(yuǎn)高于串行結(jié)構(gòu)的普通計(jì)算機(jī)。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理特征，可以大大提高工作速度。
人腦存貯信息的特點(diǎn)為利用突觸效能的變化來調(diào)整存貯內(nèi)容，也即信息存貯在神經(jīng)元之間連接強(qiáng)度的分布上，存貯區(qū)與計(jì)算機(jī)區(qū)合為一體。雖然人腦每日有大量神經(jīng)細(xì)胞死亡 （平均每小時(shí)約一千個(gè)），但不影響大腦的正常思維活動(dòng)。
普通計(jì)算機(jī)是具有相互獨(dú)立的存貯器和運(yùn)算器，知識(shí)存貯與數(shù)據(jù)運(yùn)算互不相關(guān)，只有通過人編出的程序使之溝通，這種溝通不能超越程序編制者的預(yù)想。元器件的局部損壞及程序中的微小錯(cuò)誤都可能引起嚴(yán)重的失常。 心理學(xué)家和認(rèn)知科學(xué)家研究神經(jīng)網(wǎng)絡(luò)的目的在于探索人腦加工、儲(chǔ)存和搜索信息的機(jī)制，弄清人腦功能的機(jī)理，建立人類認(rèn)知過程的微結(jié)構(gòu)理論。
生物學(xué)、醫(yī)學(xué)、腦科學(xué)專家試圖通過神經(jīng)網(wǎng)絡(luò)的研究推動(dòng)腦科學(xué)向定量、精確和理論化體系發(fā)展，同時(shí)也寄希望于臨床醫(yī)學(xué)的新突破；信息處理和計(jì)算機(jī)科學(xué)家研究這一問題的目的在于尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構(gòu)造更加逼近人腦功能的新一代計(jì)算機(jī)。
人工神經(jīng)網(wǎng)絡(luò)早期的研究工作應(yīng)追溯至上世紀(jì)40年代。下面以時(shí)間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史。
1943年，心理學(xué)家W·Mcculloch和數(shù)理邏輯學(xué)家W·Pitts在分析、總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出神經(jīng)元的數(shù)學(xué)模型。此模型沿用至今，并且直接影響著這一領(lǐng)域研究的進(jìn)展。因而，他們兩人可稱為人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)。
1945年馮·諾依曼領(lǐng)導(dǎo)的設(shè)計(jì)小組試制成功存儲(chǔ)程序式電子計(jì)算機(jī)，標(biāo)志著電子計(jì)算機(jī)時(shí)代的開始。1948年，他在研究工作中比較了人腦結(jié)構(gòu)與存儲(chǔ)程序式計(jì)算機(jī)的根本區(qū)別，提出了以簡單神經(jīng)元構(gòu)成的再生自動(dòng)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)。但是，由于指令存儲(chǔ)式計(jì)算機(jī)技術(shù)的發(fā)展非常迅速，迫使他放棄了神經(jīng)網(wǎng)絡(luò)研究的新途徑，繼續(xù)投身于指令存儲(chǔ)式計(jì)算機(jī)技術(shù)的研究，并在此領(lǐng)域作出了巨大貢獻(xiàn)。雖然，馮·諾依曼的名字是與普通計(jì)算機(jī)聯(lián)系在一起的，但他也是人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)之一。
50年代末，F·Rosenblatt設(shè)計(jì)制作了“感知機(jī)”，它是一種多層的神經(jīng)網(wǎng)絡(luò)。這項(xiàng)工作首次把人工神經(jīng)網(wǎng)絡(luò)的研究從理論探討付諸工程實(shí)踐。當(dāng)時(shí)，世界上許多實(shí)驗(yàn)室仿效制作感知機(jī)，分別應(yīng)用于文字識(shí)別、聲音識(shí)別、聲納信號(hào)識(shí)別以及學(xué)習(xí)記憶問題的研究。然而，這次人工神經(jīng)網(wǎng)絡(luò)的研究高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的研究工作，這是因?yàn)楫?dāng)時(shí)數(shù)字計(jì)算機(jī)的發(fā)展處于全盛時(shí)期，許多人誤以為數(shù)字計(jì)算機(jī)可以解決人工智能、模式識(shí)別、專家系統(tǒng)等方面的一切問題，使感知機(jī)的工作得不到重視；其次，當(dāng)時(shí)的電子技術(shù)工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經(jīng)網(wǎng)絡(luò)體積龐大，價(jià)格昂貴，要制作在規(guī)模上與真實(shí)的神經(jīng)網(wǎng)絡(luò)相似是完全不可能的；另外，在1968年一本名為《感知機(jī)》的著作中指出線性感知機(jī)功能是有限的，它不能解決如異感這樣的基本問題，而且多層網(wǎng)絡(luò)還不能找到有效的計(jì)算方法，這些論點(diǎn)促使大批研究人員對(duì)于人工神經(jīng)網(wǎng)絡(luò)的前景失去信心。60年代末期，人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。
另外，在60年代初期，Widrow提出了自適應(yīng)線性元件網(wǎng)絡(luò)，這是一種連續(xù)取值的線性加權(quán)求和閾值網(wǎng)絡(luò)。后來，在此基礎(chǔ)上發(fā)展了非線性多層自適應(yīng)網(wǎng)絡(luò)。當(dāng)時(shí)，這些工作雖未標(biāo)出神經(jīng)網(wǎng)絡(luò)的名稱，而實(shí)際上就是一種人工神經(jīng)網(wǎng)絡(luò)模型。
隨著人們對(duì)感知機(jī)興趣的衰退，神經(jīng)網(wǎng)絡(luò)的研究沉寂了相當(dāng)長的時(shí)間。80年代初期，模擬與數(shù)字混合的超大規(guī)模集成電路制作技術(shù)提高到新的水平，完全付諸實(shí)用化，此外，數(shù)字計(jì)算機(jī)的發(fā)展在若干應(yīng)用領(lǐng)域遇到困難。這一背景預(yù)示，向人工神經(jīng)網(wǎng)絡(luò)尋求出路的時(shí)機(jī)已經(jīng)成熟。美國的物理學(xué)家Hopfield于1982年和1984年在美國科學(xué)院院刊上發(fā)表了兩篇關(guān)于人工神經(jīng)網(wǎng)絡(luò)研究的論文，引起了巨大的反響。人們重新認(rèn)識(shí)到神經(jīng)網(wǎng)絡(luò)的威力以及付諸應(yīng)用的現(xiàn)實(shí)性。隨即，一大批學(xué)者和研究人員圍繞著 Hopfield提出的方法展開了進(jìn)一步的工作，形成了80年代中期以來人工神經(jīng)網(wǎng)絡(luò)的研究熱潮。
1985年，Ackley、Hinton和Sejnowski將模擬退火算法應(yīng)用到神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，提出了Boltzmann機(jī)，該算法具有逃離極值的優(yōu)點(diǎn)，但是訓(xùn)練時(shí)間需要很長。
1986年，Rumelhart、Hinton和Williams提出了多層前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，即BP算法。它從證明的角度推導(dǎo)算法的正確性，是學(xué)習(xí)算法有理論依據(jù)。從學(xué)習(xí)算法角度上看，是一個(gè)很大的進(jìn)步。
1988年，Broomhead和Lowe第一次提出了徑向基網(wǎng)絡(luò)：RBF網(wǎng)絡(luò)。
總體來說，神經(jīng)網(wǎng)絡(luò)經(jīng)歷了從高潮到低谷，再到高潮的階段，充滿曲折的過程。

8、人工神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)網(wǎng)絡(luò)是什么意思

一、 人工神經(jīng)網(wǎng)絡(luò)的概念
人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）簡稱神經(jīng)網(wǎng)絡(luò)(NN)，是基于生物學(xué)中神經(jīng)網(wǎng)絡(luò)的基本原理，在理解和抽象了人腦結(jié)構(gòu)和外界刺激響應(yīng)機(jī)制后，以網(wǎng)絡(luò)拓?fù)渲R(shí)為理論基礎(chǔ)，模擬人腦的神經(jīng)系統(tǒng)對(duì)復(fù)雜信息的處理機(jī)制的一種數(shù)學(xué)模型。該模型以并行分布的處理能力、高容錯(cuò)性、智能化和自學(xué)習(xí)等能力為特征，將信息的加工和存儲(chǔ)結(jié)合在一起，以其獨(dú)特的知識(shí)表示方式和智能化的自適應(yīng)學(xué)習(xí)能力，引起各學(xué)科領(lǐng)域的關(guān)注。它實(shí)際上是一個(gè)有大量簡單元件相互連接而成的復(fù)雜網(wǎng)絡(luò)，具有高度的非線性，能夠進(jìn)行復(fù)雜的邏輯操作和非線性關(guān)系實(shí)現(xiàn)的系統(tǒng)。
神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱為激活函數(shù)（activation function）。每兩個(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過該連接信號(hào)的加權(quán)值，稱之為權(quán)重（weight），神經(jīng)網(wǎng)絡(luò)就是通過這種方式來模擬人類的記憶。網(wǎng)絡(luò)的輸出則取決于網(wǎng)絡(luò)的結(jié)構(gòu)、網(wǎng)絡(luò)的連接方式、權(quán)重和激活函數(shù)。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近，也可能是對(duì)一種邏輯策略的表達(dá)。神經(jīng)網(wǎng)絡(luò)的構(gòu)筑理念是受到生物的神經(jīng)網(wǎng)絡(luò)運(yùn)作啟發(fā)而產(chǎn)生的。人工神經(jīng)網(wǎng)絡(luò)則是把對(duì)生物神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)與數(shù)學(xué)統(tǒng)計(jì)模型相結(jié)合，借助數(shù)學(xué)統(tǒng)計(jì)工具來實(shí)現(xiàn)。另一方面在人工智能學(xué)的人工感知領(lǐng)域，我們通過數(shù)學(xué)統(tǒng)計(jì)學(xué)的方法，使神經(jīng)網(wǎng)絡(luò)能夠具備類似于人的決定能力和簡單的判斷能力，這種方法是對(duì)傳統(tǒng)邏輯學(xué)演算的進(jìn)一步延伸。
人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對(duì)象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號(hào)與數(shù)據(jù)；輸出單元實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強(qiáng)度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡(luò)是一種非程序化、適應(yīng)性、大腦風(fēng)格的信息處理，其本質(zhì)是通過網(wǎng)絡(luò)的變換和動(dòng)力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。
神經(jīng)網(wǎng)絡(luò)，是一種應(yīng)用類似于大腦神經(jīng)突觸連接結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型，它是在人類對(duì)自身大腦組織結(jié)合和思維機(jī)制的認(rèn)識(shí)理解基礎(chǔ)之上模擬出來的，它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、思維科學(xué)、人工智能、統(tǒng)計(jì)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)以及工程科學(xué)的一門技術(shù)。
二、 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展
神經(jīng)網(wǎng)絡(luò)的發(fā)展有悠久的歷史。其發(fā)展過程大致可以概括為如下4個(gè)階段。
1. 第一階段----啟蒙時(shí)期
(1)、M-P神經(jīng)網(wǎng)絡(luò)模型：20世紀(jì)40年代，人們就開始了對(duì)神經(jīng)網(wǎng)絡(luò)的研究。1943 年，美國心理學(xué)家麥克洛奇（Mcculloch）和數(shù)學(xué)家皮茲（Pitts）提出了M-P模型，此模型比較簡單，但是意義重大。在模型中，通過把神經(jīng)元看作個(gè)功能邏輯器件來實(shí)現(xiàn)算法，從此開創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究。
(2)、Hebb規(guī)則：1949 年，心理學(xué)家赫布（Hebb）出版了《The Organization of Behavior》（行為組織學(xué)），他在書中提出了突觸連接強(qiáng)度可變的假設(shè)。這個(gè)假設(shè)認(rèn)為學(xué)習(xí)過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的連接強(qiáng)度隨之突觸前后神經(jīng)元的活動(dòng)而變化。這一假設(shè)發(fā)展成為后來神經(jīng)網(wǎng)絡(luò)中非常著名的Hebb規(guī)則。這一法則告訴人們，神經(jīng)元之間突觸的聯(lián)系強(qiáng)度是可變的，這種可變性是學(xué)習(xí)和記憶的基礎(chǔ)。Hebb法則為構(gòu)造有學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ)。
(3)、感知器模型：1957 年，羅森勃拉特（Rosenblatt）以M-P 模型為基礎(chǔ)，提出了感知器（Perceptron）模型。感知器模型具有現(xiàn)代神經(jīng)網(wǎng)絡(luò)的基本原則，并且它的結(jié)構(gòu)非常符合神經(jīng)生理學(xué)。這是一個(gè)具有連續(xù)可調(diào)權(quán)值矢量的MP神經(jīng)網(wǎng)絡(luò)模型，經(jīng)過訓(xùn)練可以達(dá)到對(duì)一定的輸入矢量模式進(jìn)行分類和識(shí)別的目的，它雖然比較簡單，卻是第一個(gè)真正意義上的神經(jīng)網(wǎng)絡(luò)。Rosenblatt 證明了兩層感知器能夠?qū)斎脒M(jìn)行分類，他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt 的神經(jīng)網(wǎng)絡(luò)模型包含了一些現(xiàn)代神經(jīng)計(jì)算機(jī)的基本原理，從而形成神經(jīng)網(wǎng)絡(luò)方法和技術(shù)的重大突破。
(4)、ADALINE網(wǎng)絡(luò)模型： 1959年，美國著名工程師威德羅（B.Widrow）和霍夫（M.Hoff）等人提出了自適應(yīng)線性元件(Adaptive linear element，簡稱Adaline)和Widrow-Hoff學(xué)習(xí)規(guī)則（又稱最小均方差算法或稱δ規(guī)則）的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，并將其應(yīng)用于實(shí)際工程，成為第一個(gè)用于解決實(shí)際問題的人工神經(jīng)網(wǎng)絡(luò)，促進(jìn)了神經(jīng)網(wǎng)絡(luò)的研究應(yīng)用和發(fā)展。ADALINE網(wǎng)絡(luò)模型是一種連續(xù)取值的自適應(yīng)線性神經(jīng)元網(wǎng)絡(luò)模型，可以用于自適應(yīng)系統(tǒng)。
2. 第二階段----低潮時(shí)期
人工智能的創(chuàng)始人之一Minsky和Papert對(duì)以感知器為代表的網(wǎng)絡(luò)系統(tǒng)的功能及局限性從數(shù)學(xué)上做了深入研究，于1969年發(fā)表了轟動(dòng)一時(shí)《Perceptrons》一書，指出簡單的線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題，如簡單的線性感知器不可能實(shí)現(xiàn)“異或”的邏輯關(guān)系等。這一論斷給當(dāng)時(shí)人工神經(jīng)元網(wǎng)絡(luò)的研究帶來沉重的打擊。開始了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長達(dá)10年的低潮期。
(1)、自組織神經(jīng)網(wǎng)絡(luò)SOM模型：1972年，芬蘭的KohonenT.教授，提出了自組織神經(jīng)網(wǎng)絡(luò)SOM(Self-Organizing feature map)。后來的神經(jīng)網(wǎng)絡(luò)主要是根據(jù)KohonenT.的工作來實(shí)現(xiàn)的。SOM網(wǎng)絡(luò)是一類無導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)，主要用于模式識(shí)別﹑語音識(shí)別及分類問題。它采用一種“勝者為王”的競(jìng)爭學(xué)習(xí)算法，與先前提出的感知器有很大的不同，同時(shí)它的學(xué)習(xí)訓(xùn)練方式是無指導(dǎo)訓(xùn)練，是一種自組織網(wǎng)絡(luò)。這種學(xué)習(xí)訓(xùn)練方式往往是在不知道有哪些分類類型存在時(shí)，用作提取分類信息的一種訓(xùn)練。
(2)、自適應(yīng)共振理論ART：1976年，美國Grossberg教授提出了著名的自適應(yīng)共振理論ART(Adaptive Resonance Theory)，其學(xué)習(xí)過程具有自組織和自穩(wěn)定的特征。
3. 第三階段----復(fù)興時(shí)期
(1)、Hopfield模型：1982年，美國物理學(xué)家霍普菲爾德（Hopfield）提出了一種離散神經(jīng)網(wǎng)絡(luò)，即離散Hopfield網(wǎng)絡(luò)，從而有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究。在網(wǎng)絡(luò)中，它首次將李雅普諾夫（Lyapunov）函數(shù)引入其中，后來的研究學(xué)者也將Lyapunov函數(shù)稱為能量函數(shù)。證明了網(wǎng)絡(luò)的穩(wěn)定性。1984年，Hopfield 又提出了一種連續(xù)神經(jīng)網(wǎng)絡(luò)，將網(wǎng)絡(luò)中神經(jīng)元的激活函數(shù)由離散型改為連續(xù)型。1985 年，Hopfield和Tank利用Hopfield神經(jīng)網(wǎng)絡(luò)解決了著名的旅行推銷商問題（Travelling Salesman Problem）。Hopfield神經(jīng)網(wǎng)絡(luò)是一組非線性微分方程。Hopfield的模型不僅對(duì)人工神經(jīng)網(wǎng)絡(luò)信息存儲(chǔ)和提取功能進(jìn)行了非線性數(shù)學(xué)概括，提出了動(dòng)力方程和學(xué)習(xí)方程，還對(duì)網(wǎng)絡(luò)算法提供了重要公式和參數(shù)，使人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)有了理論指導(dǎo)，在Hopfield模型的影響下，大量學(xué)者又激發(fā)起研究神經(jīng)網(wǎng)絡(luò)的熱情，積極投身于這一學(xué)術(shù)領(lǐng)域中。因?yàn)镠opfield 神經(jīng)網(wǎng)絡(luò)在眾多方面具有巨大潛力，所以人們對(duì)神經(jīng)網(wǎng)絡(luò)的研究十分地重視，更多的人開始了研究神經(jīng)網(wǎng)絡(luò)，極大地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。
(2)、Boltzmann機(jī)模型：1983年，Kirkpatrick等人認(rèn)識(shí)到模擬退火算法可用于NP完全組合優(yōu)化問題的求解，這種模擬高溫物體退火過程來找尋全局最優(yōu)解的方法最早由Metropli等人1953年提出的。1984年，Hinton與年輕學(xué)者Sejnowski等合作提出了大規(guī)模并行網(wǎng)絡(luò)學(xué)習(xí)機(jī)，并明確提出隱單元的概念，這種學(xué)習(xí)機(jī)后來被稱為Boltzmann機(jī)。
Hinton和Sejnowsky利用統(tǒng)計(jì)物理學(xué)的感念和方法，首次提出的多層網(wǎng)絡(luò)的學(xué)習(xí)算法，稱為Boltzmann 機(jī)模型。
(3)、BP神經(jīng)網(wǎng)絡(luò)模型：1986年，儒默哈特（D.E.Ru melhart）等人在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)權(quán)值修正的反向傳播學(xué)習(xí)算法----BP算法（Error Back-Propagation），解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)能力，它可以完成許多學(xué)習(xí)任務(wù)，解決許多實(shí)際問題。
(4)、并行分布處理理論：1986年，由Rumelhart和McCkekkand主編的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》，該書中，他們建立了并行分布處理理論，主要致力于認(rèn)知的微觀研究，同時(shí)對(duì)具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播算法即BP算法進(jìn)行了詳盡的分析，解決了長期以來沒有權(quán)值調(diào)整有效算法的難題?？梢郧蠼飧兄獧C(jī)所不能解決的問題，回答了《Perceptrons》一書中關(guān)于神經(jīng)網(wǎng)絡(luò)局限性的問題，從實(shí)踐上證實(shí)了人工神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的運(yùn)算能力。
(5)、細(xì)胞神經(jīng)網(wǎng)絡(luò)模型：1988年，Chua和Yang提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)（CNN）模型，它是一個(gè)細(xì)胞自動(dòng)機(jī)特性的大規(guī)模非線性計(jì)算機(jī)仿真系統(tǒng)。Kosko建立了雙向聯(lián)想存儲(chǔ)模型（BAM），它具有非監(jiān)督學(xué)習(xí)能力。
(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初產(chǎn)生了很大的影響，他建立了一種神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論。
(7)、1988年，Linsker對(duì)感知機(jī)網(wǎng)絡(luò)提出了新的自組織理論，并在Shanon信息論的基礎(chǔ)上形成了最大互信息理論，從而點(diǎn)燃了基于NN的信息應(yīng)用理論的光芒。
(8)、1988年，Broomhead和Lowe用徑向基函數(shù)(Radialbasis function, RBF)提出分層網(wǎng)絡(luò)的設(shè)計(jì)方法，從而將NN的設(shè)計(jì)與數(shù)值分析和線性適應(yīng)濾波相掛鉤。
(9)、1991年，Haken把協(xié)同引入神經(jīng)網(wǎng)絡(luò)，在他的理論框架中，他認(rèn)為，認(rèn)知過程是自發(fā)的，并斷言模式識(shí)別過程即是模式形成過程。
(10)、1994年，廖曉昕關(guān)于細(xì)胞神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)理論與基礎(chǔ)的提出，帶來了這個(gè)領(lǐng)域新的進(jìn)展。通過拓廣神經(jīng)網(wǎng)絡(luò)的激活函數(shù)類，給出了更一般的時(shí)滯細(xì)胞神經(jīng)網(wǎng)絡(luò)(DCNN)、Hopfield神經(jīng)網(wǎng)絡(luò)（HNN）、雙向聯(lián)想記憶網(wǎng)絡(luò)（BAM）模型。
(11)、90年代初，Vapnik等提出了支持向量機(jī)(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)維數(shù)的概念。
經(jīng)過多年的發(fā)展，已有上百種的神經(jīng)網(wǎng)絡(luò)模型被提出。

9、神經(jīng)網(wǎng)絡(luò)的功能！

完成某種信號(hào)處理或模式識(shí)別的功能、構(gòu)作專家系統(tǒng)、制成機(jī)器人、復(fù)雜系統(tǒng)控制等等。
在機(jī)器學(xué)習(xí)和相關(guān)領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)）的計(jì)算模型靈感來自動(dòng)物的中樞神經(jīng)系統(tǒng)（尤其是腦），并且被用于估計(jì)或可以依賴于大量的輸入和一般的未知近似函數(shù)。人工神經(jīng)網(wǎng)絡(luò)通常呈現(xiàn)為相互連接的“神經(jīng)元”，它可以從輸入的計(jì)算值，并且能夠機(jī)器學(xué)習(xí)以及模式識(shí)別由于它們的自適應(yīng)性質(zhì)的系統(tǒng)。
人工神經(jīng)網(wǎng)絡(luò)的最大優(yōu)勢(shì)是他們能夠被用作一個(gè)任意函數(shù)逼近的機(jī)制，那是從觀測(cè)到的數(shù)據(jù)“學(xué)習(xí)”。然而，使用起來也不是那么簡單的，一個(gè)比較好理解的基本理論是必不可少的。

總結(jié)

以上是生活随笔為你收集整理的数据挖掘人工神经网络,神经网络的数据处理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。