神經網絡的歷史是什么？

沃倫·麥卡洛克和沃爾特·皮茨（1943）基于數學和一種稱為閾值邏輯的算法創造了一種神經網絡的計算模型。這種模型使得神經網絡的研究分裂為兩種不同研究思路。

一種主要關注大腦中的生物學過程，另一種主要關注神經網絡在人工智能里的應用。一、赫布型學習二十世紀40年代后期，心理學家唐納德·赫布根據神經可塑性的機制創造了一種對學習的假說，現在稱作赫布型學習。

赫布型學習被認為是一種典型的非監督式學習規則，它后來的變種是長期增強作用的早期模型。從1948年開始，研究人員將這種計算模型的思想應用到B型圖靈機上。

法利和韋斯利·A·克拉克（1954）首次使用計算機，當時稱作計算器，在MIT模擬了一個赫布網絡。納撒尼爾·羅切斯特（1956）等人模擬了一臺IBM704計算機上的抽象神經網絡的行為。

弗蘭克·羅森布拉特創造了感知機。這是一種模式識別算法，用簡單的加減法實現了兩層的計算機學習網絡。羅森布拉特也用數學符號描述了基本感知機里沒有的回路，例如異或回路。

這種回路一直無法被神經網絡處理，直到保羅·韋伯斯(1975)創造了反向傳播算法。在馬文·明斯基和西摩爾·派普特（1969）發表了一項關于機器學習的研究以后，神經網絡的研究停滯不前。

他們發現了神經網絡的兩個關鍵問題。第一是基本感知機無法處理異或回路。第二個重要的問題是電腦沒有足夠的能力來處理大型神經網絡所需要的很長的計算時間。

直到計算機具有更強的計算能力之前，神經網絡的研究進展緩慢。二、反向傳播算法與復興后來出現的一個關鍵的進展是保羅·韋伯斯發明的反向傳播算法（Werbos1975）。

這個算法有效地解決了異或的問題，還有更普遍的訓練多層神經網絡的問題。在二十世紀80年代中期，分布式并行處理（當時稱作聯結主義）流行起來。

戴維·魯姆哈特和詹姆斯·麥克里蘭德的教材對于聯結主義在計算機模擬神經活動中的應用提供了全面的論述。神經網絡傳統上被認為是大腦中的神經活動的簡化模型，雖然這個模型和大腦的生理結構之間的關聯存在爭議。

人們不清楚人工神經網絡能多大程度地反映大腦的功能。

支持向量機和其他更簡單的方法（例如線性分類器）在機器學習領域的流行度逐漸超過了神經網絡，但是在2000年代后期出現的深度學習重新激發了人們對神經網絡的興趣。

三、2006年之后的進展人們用CMOS創造了用于生物物理模擬和神經形態計算的計算設備。最新的研究顯示了用于大型主成分分析和卷積神經網絡的納米設備具有良好的前景。

如果成功的話，這會創造出一種新的神經計算設備，因為它依賴于學習而不是編程，并且它從根本上就是模擬的而不是數字化的，雖然它的第一個實例可能是數字化的CMOS設備。

在2009到2012年之間，JürgenSchmidhuber在SwissAILabIDSIA的研究小組研發的循環神經網絡和深前饋神經網絡贏得了8項關于模式識別和機器學習的國際比賽。

例如，AlexGravesetal.的雙向、多維的LSTM贏得了2009年ICDAR的3項關于連筆字識別的比賽，而且之前并不知道關于將要學習的3種語言的信息。

IDSIA的DanCiresan和同事根據這個方法編寫的基于GPU的實現贏得了多項模式識別的比賽，包括IJCNN2011交通標志識別比賽等等。

他們的神經網絡也是第一個在重要的基準測試中（例如IJCNN2012交通標志識別和NYU的揚·勒丘恩（YannLeCun）的MNIST手寫數字問題）能達到或超過人類水平的人工模式識別器。

類似1980年KunihikoFukushima發明的neocognitron和視覺標準結構（由DavidH.Hubel和TorstenWiesel在初級視皮層中發現的那些簡單而又復雜的細胞啟發）那樣有深度的、高度非線性的神經結構可以被多倫多大學杰弗里·辛頓實驗室的非監督式學習方法所訓練。

2012年，神經網絡出現了快速的發展，主要原因在于計算技術的提高，使得很多復雜的運算變得成本低廉。以AlexNet為標志，大量的深度網絡開始出現。

2014年出現了殘差神經網絡，該網絡極大解放了神經網絡的深度限制，出現了深度學習的概念。

構成典型的人工神經網絡具有以下三個部分：1、結構（Architecture）結構指定了網絡中的變量和它們的拓撲關系。

例如，神經網絡中的變量可以是神經元連接的權重（weights）和神經元的激勵值（activitiesoftheneurons）。

2、激勵函數（ActivationRule）大部分神經網絡模型具有一個短時間尺度的動力學規則，來定義神經元如何根據其他神經元的活動來改變自己的激勵值。

一般激勵函數依賴于網絡中的權重（即該網絡的參數）。3、學習規則（LearningRule）學習規則指定了網絡中的權重如何隨著時間推進而調整。這一般被看做是一種長時間尺度的動力學規則。

一般情況下，學習規則依賴于神經元的激勵值。它也可能依賴于監督者提供的目標值和當前權重的值。例如，用于手寫識別的一個神經網絡，有一組輸入神經元。輸入神經元會被輸入圖像的數據所激發。

在激勵值被加權并通過一個函數（由網絡的設計者確定）后，這些神經元的激勵值被傳遞到其他神經元。這個過程不斷重復，直到輸出神經元被激發。最后，輸出神經元的激勵值決定了識別出來的是哪個字母。

谷歌人工智能寫作項目：神經網絡偽原創

請問卷積神經網絡的概念誰最早在學術界提出的?

福島邦彥寫作貓。2021年4月29日，福島邦彥（KunihikoFukushima）獲得2021年鮑爾科學成就獎。

他為深度學習做出了杰出貢獻，其最有影響力的工作當屬「Neocognitron」卷積神經網絡架構。

其實，熟悉這位JürgenSchmidhuber人都知道，他此前一直對自己在深度學習領域的早期原創性成果未能得到業界廣泛承認而耿耿于懷。

1979年，福島博士在STRL開發了一種用于模式識別的神經網絡模型：Neocognitron。很陌生對吧？

但這個Neocognitron用今天的話來說，叫卷積神經網絡（CNN），是深度神經網絡基本結構的最偉大發明之一，也是當前人工智能的核心技術。什么？

卷積神經網絡不是一個叫YannLeCun的大佬發明的嗎？怎么又換成了福島邦彥（KunihikoFukushima）了？

嚴格意義上講，LeCun是第一個使用誤差反向傳播訓練卷積神經網絡（CNN）架構的人，但他并不是第一個發明這個結構的人。

而福島博士引入的Neocognitron，是第一個使用卷積和下采樣的神經網絡，也是卷積神經網絡的雛形。

福島邦彥(KunihikoFukushima)設計的具有學習能力的人工多層神經網絡，可以模仿大腦的視覺網絡，這種「洞察力」成為現代人工智能技術的基礎。

福島博士的工作帶來了一系列實際應用，從自動駕駛汽車到面部識別，從癌癥檢測到洪水預測，還會有越來越多的應用。

BP神經網絡和感知器有什么區別？

1、發展背景不同：感知器是FrankRosenblatt在1957年所發明的一種人工神經網絡，可以被視為一種最簡單形式的前饋式人工神經網絡，是一種二元線性分類器。

而BP神經網絡發展于20世紀80年代中期，DavidRunelhart。

GeoffreyHinton和RonaldW-llians、DavidParker等人分別獨立發現了誤差反向傳播算法，簡稱BP，系統解決了多層神經網絡隱含層連接權學習問題，并在數學上給出了完整推導。

2、結構不同：BP網絡是在輸入層與輸出層之間增加若干層(一層或多層)神經元，這些神經元稱為隱單元，它們與外界沒有直接的聯系，但其狀態的改變，則能影響輸入與輸出之間的關系，每一層可以有若干個節點。

感知器也被指為單層的人工神經網絡，以區別于較復雜的多層感知器（MultilayerPerceptron）。作為一種線性分類器，（單層）感知器可說是最簡單的前向人工神經網絡形式。

3、算法不同：BP神經網絡的計算過程由正向計算過程和反向計算過程組成。正向傳播過程，輸入模式從輸入層經隱單元層逐層處理，并轉向輸出層，每層神經元的狀態只影響下一層神經元的狀態。

感知器使用特征向量來表示的前饋式人工神經網絡，它是一種二元分類器，輸入直接經過權重關系轉換為輸出。參考資料來源：百度百科-感知器參考資料來源：百度百科-BP神經網絡。

有人可以介紹一下什么是"神經網絡"嗎?

由于神經網絡是多學科交叉的產物，各個相關的學科領域對神經網絡都有各自的看法，因此，關于神經網絡的定義，在科學界存在許多不同的見解。

目前使用得最廣泛的是T.Koholen的定義，即"神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應。

"如果我們將人腦神經信息活動的特點與現行馮·諾依曼計算機的工作方式進行比較，就可以看出人腦具有以下鮮明特征：1.巨量并行性。

在馮·諾依曼機中，信息處理的方式是集中、串行的，即所有的程序指令都必須調到CPU中后再一條一條地執行。而人在識別一幅圖像或作出一項決策時，存在于腦中的多方面的知識和經驗會同時并發作用以迅速作出解答。

據研究，人腦中約有多達10^(10)～10^(11)數量級的神經元，每一個神經元具有103數量級的連接，這就提供了巨大的存儲容量，在需要時能以很高的反應速度作出判斷。

2.信息處理和存儲單元結合在一起。在馮·諾依曼機中，存儲內容和存儲地址是分開的，必須先找出存儲器的地址，然后才能查出所存儲的內容。一旦存儲器發生了硬件故障，存儲器中存儲的所有信息就都將受到毀壞。

而人腦神經元既有信息處理能力又有存儲功能，所以它在進行回憶時不僅不用先找存儲地址再調出所存內容，而且可以由一部分內容恢復全部內容。

當發生"硬件"故障（例如頭部受傷）時，并不是所有存儲的信息都失效，而是僅有被損壞得最嚴重的那部分信息丟失。3.自組織自學習功能。

馮·諾依曼機沒有主動學習能力和自適應能力，它只能不折不扣地按照人們已經編制好的程序步驟來進行相應的數值計算或邏輯計算。

而人腦能夠通過內部自組織、自學習的能力，不斷地適應外界環境，從而可以有效地處理各種模擬的、模糊的或隨機的問題。神經網絡研究的主要發展過程大致可分為四個階段：1.第一階段是在五十年代中期之前。

西班牙解剖學家Cajal于十九世紀末創立了神經元學說，該學說認為神經元的形狀呈兩極，其細胞體和樹突從其他神經元接受沖動，而軸索則將信號向遠離細胞體的方向傳遞。

在他之后發明的各種染色技術和微電極技術不斷提供了有關神經元的主要特征及其電學性質。

1943年，美國的心理學家W.S.McCulloch和數學家W.A.Pitts在論文《神經活動中所蘊含思想的邏輯活動》中，提出了一個非常簡單的神經元模型，即M－P模型。

該模型將神經元當作一個功能邏輯器件來對待，從而開創了神經網絡模型的理論研究。

1949年，心理學家D.O.Hebb寫了一本題為《行為的組織》的書，在這本書中他提出了神經元之間連接強度變化的規則，即后來所謂的Hebb學習法則。

Hebb寫道："當神經細胞A的軸突足夠靠近細胞B并能使之興奮時，如果A重復或持續地激發B，那么這兩個細胞或其中一個細胞上必然有某種生長或代謝過程上的變化，這種變化使A激活B的效率有所增加。

"簡單地說，就是如果兩個神經元都處于興奮狀態，那么它們之間的突觸連接強度將會得到增強。

五十年代初，生理學家Hodykin和數學家Huxley在研究神經細胞膜等效電路時，將膜上離子的遷移變化分別等效為可變的Na+電阻和K+電阻，從而建立了著名的Hodykin-Huxley方程。

這些先驅者的工作激發了許多學者從事這一領域的研究，從而為神經計算的出現打下了基礎。2.第二階段從五十年代中期到六十年代末。

1958年，F.Rosenblatt等人研制出了歷史上第一個具有學習型神經網絡特點的模式識別裝置，即代號為MarkI的感知機（Perceptron），這一重大事件是神經網絡研究進入第二階段的標志。

對于最簡單的沒有中間層的感知機，Rosenblatt證明了一種學習算法的收斂性，這種學習算法通過迭代地改變連接權來使網絡執行預期的計算。

稍后于Rosenblatt，B.Widrow等人創造出了一種不同類型的會學習的神經網絡處理單元，即自適應線性元件Adaline，并且還為Adaline找出了一種有力的學習規則，這個規則至今仍被廣泛應用。

Widrow還建立了第一家神經計算機硬件公司，并在六十年代中期實際生產商用神經計算機和神經計算機軟件。

除Rosenblatt和Widrow外，在這個階段還有許多人在神經計算的結構和實現思想方面作出了很大的貢獻。例如，K.Steinbuch研究了稱為學習矩陣的一種二進制聯想網絡結構及其硬件實現。

N.Nilsson于1965年出版的《機器學習》一書對這一時期的活動作了總結。3.第三階段從六十年代末到八十年代初。

第三階段開始的標志是1969年M.Minsky和S.Papert所著的《感知機》一書的出版。

該書對單層神經網絡進行了深入分析，并且從數學上證明了這種網絡功能有限，甚至不能解決象"異或"這樣的簡單邏輯運算問題。同時，他們還發現有許多模式是不能用單層網絡訓練的，而多層網絡是否可行還很值得懷疑。

由于M.Minsky在人工智能領域中的巨大威望，他在論著中作出的悲觀結論給當時神經網絡沿感知機方向的研究潑了一盆冷水。

在《感知機》一書出版后，美國聯邦基金有15年之久沒有資助神經網絡方面的研究工作，前蘇聯也取消了幾項有前途的研究計劃。

但是，即使在這個低潮期里，仍有一些研究者繼續從事神經網絡的研究工作，如美國波士頓大學的S.Grossberg、芬蘭赫爾辛基技術大學的T.Kohonen以及日本東京大學的甘利俊一等人。

他們堅持不懈的工作為神經網絡研究的復興開辟了道路。4.第四階段從八十年代初至今。

1982年，美國加州理工學院的生物物理學家J.J.Hopfield采用全互連型神經網絡模型，利用所定義的計算能量函數，成功地求解了計算復雜度為NP完全型的旅行商問題（TravellingSalesmanProblem，簡稱TSP）。

這項突破性進展標志著神經網絡方面的研究進入了第四階段，也是蓬勃發展的階段。Hopfield模型提出后，許多研究者力圖擴展該模型，使之更接近人腦的功能特性。

1983年，T.Sejnowski和G.Hinton提出了"隱單元"的概念，并且研制出了Boltzmann機。

日本的福島邦房在Rosenblatt的感知機的基礎上，增加隱層單元，構造出了可以實現聯想學習的"認知機"。Kohonen應用3000個閾器件構造神經網絡實現了二維網絡的聯想式學習功能。

1986年，D.Rumelhart和J.McClelland出版了具有轟動性的著作《并行分布處理-認知微結構的探索》，該書的問世宣告神經網絡的研究進入了高潮。

1987年，首屆國際神經網絡大會在圣地亞哥召開，國際神經網絡聯合會（INNS）成立。

隨后INNS創辦了刊物《JournalNeuralNetworks》，其他專業雜志如《NeuralComputation》，《IEEETransactionsonNeuralNetworks》，《InternationalJournalofNeuralSystems》等也紛紛問世。

世界上許多著名大學相繼宣布成立神經計算研究所并制訂有關教育計劃，許多國家也陸續成立了神經網絡學會，并召開了多種地區性、國際性會議，優秀論著、重大成果不斷涌現。

今天，在經過多年的準備與探索之后，神經網絡的研究工作已進入了決定性的階段。日本、美國及西歐各國均制訂了有關的研究規劃。日本制訂了一個"人類前沿科學計劃"。

這項計劃為期15－20年，僅初期投資就超過了1萬億日元。在該計劃中，神經網絡和腦功能的研究占有重要地位，因為所謂"人類前沿科學"首先指的就是有關人類大腦以及通過借鑒人腦而研制新一代計算機的科學領域。

在美國，神經網絡的研究得到了軍方的強有力的支持。美國國防部投資4億美元，由國防部高級研究計劃局（DAPRA）制訂了一個8年研究計劃，并成立了相應的組織和指導委員會。

同時，海軍研究辦公室（ONR）、空軍科研辦公室（AFOSR）等也紛紛投入巨額資金進行神經網絡的研究。DARPA認為神經網絡"看來是解決機器智能的唯一希望"，并認為"這是一項比原子彈工程更重要的技術"。

美國國家科學基金會（NSF）、國家航空航天局（NASA）等政府機構對神經網絡的發展也都非常重視，它們以不同的形式支持了眾多的研究課題。歐共體也制訂了相應的研究計劃。

在其ESPRIT計劃中，就有一個項目是"神經網絡在歐洲工業中的應用"，除了英、德兩國的原子能機構外，還有多個歐洲大公司卷進這個研究項目，如英國航天航空公司、德國西門子公司等。

此外，西歐一些國家還有自己的研究計劃，如德國從1988年就開始進行一個叫作"神經信息論"的研究計劃。我國從1986年開始，先后召開了多次非正式的神經網絡研討會。

1990年12月，由中國計算機學會、電子學會、人工智能學會、自動化學會、通信學會、物理學會、生物物理學會和心理學會等八個學會聯合在北京召開了"中國神經網絡首屆學術會議"，從而開創了我國神經網絡研究的新紀元。

如何用神經網絡來減少條件隨機場特征

BP神經網絡、離散Hopfield網絡、LVQ神經網絡等等都可以。

1.BP（BackPropagation）神經網絡是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。

BP網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。

BP神經網絡模型拓撲結構包括輸入層（input）、隱層(hiddenlayer)和輸出層(outputlayer)。2.Hopfiled神經網絡是一種遞歸神經網絡，由約翰·霍普菲爾德在1982年發明。

Hopfield網絡是一種結合存儲系統和二元系統的神經網絡。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（localminimum），而非全局極小（globalminimum）的情況也可能發生。

Hopfiled網絡也提供了模擬人類記憶的模型。

3.LVQ神經網絡由三層組成，即輸入層、隱含層和輸出層，網絡在輸入層與隱含層間為完全連接，而在隱含層與輸出層間為部分連接，每個輸出層神經元與隱含層神經元的不同組相連接。

隱含層和輸出層神經元之間的連接權值固定為1。輸入層和隱含層神經元間連接的權值建立參考矢量的分量（對每個隱含神經元指定一個參考矢量）。在網絡訓練過程中，這些權值被修改。

隱含層神經元（又稱為Kohnen神經元）和輸出神經元都具有二進制輸出值。

當某個輸入模式被送至網絡時，參考矢量最接近輸入模式的隱含神經元因獲得激發而贏得競爭，因而允許它產生一個“1”，而其它隱含層神經元都被迫產生“0”。

與包含獲勝神經元的隱含層神經元組相連接的輸出神經元也發出“1”，而其它輸出神經元均發出“0”。產生“1”的輸出神經元給出輸入模式的類，由此可見，每個輸出神經元被用于表示不同的類。

人工神級網絡最簡化形式

感知器（英語：Perceptron）。是FrankRosenblatt在1957年就職于康奈爾航空實驗室（CornellAeronauticalLaboratory）時所發明的一種人工神經網絡。

它可以被視為一種最簡單形式的前饋神經網絡，是一種二元線性分類器。感知機是生物神經細胞的簡單抽象。神經細胞結構大致可分為：樹突、突觸、細胞體及軸突。

單個神經細胞可被視為一種只有兩種狀態的機器——激動時為‘是’，而未激動時為‘否’。神經細胞的狀態取決于從其它的神經細胞收到的輸入信號量，及突觸的強度（抑制或加強）。

當信號量總和超過了某個閾值時，細胞體就會激動，產生電脈沖。電脈沖沿著軸突并通過突觸傳遞到其它神經元。

為了模擬神經細胞行為，與之對應的感知機基礎概念被提出，如權量（突觸）、偏置（閾值）及激活函數（細胞體）。

在人工神經網絡領域中，感知機也被指為單層的人工神經網絡，以區別于較復雜的多層感知機（MultilayerPerceptron）。作為一種線性分類器，（單層）感知機可說是最簡單的前向人工神經網絡形式。

盡管結構簡單，感知機能夠學習并解決相當復雜的問題。感知機主要的本質缺陷是它不能處理線性不可分問題。

歷史1943年，心理學家沃倫·麥卡洛克和數理邏輯學家沃爾特·皮茨在合作的《Alogicalcalculusoftheideasimmanentinnervousactivity》論文中提出并給出了人工神經網絡的概念及人工神經元的數學模型，從而開創了人工神經網絡研究的時代。

1949年，心理學家唐納德·赫布在《TheOrganizationofBehavior》論文中描述了神經元學習法則——赫布型學習。人工神經網絡更進一步被美國神經學家弗蘭克·羅森布拉特所發展。

他提出了可以模擬人類感知能力的機器，并稱之為‘感知機’。1957年，在Cornell航空實驗室中，他成功在IBM704機上完成了感知機的仿真。

兩年后，他又成功實現了能夠識別一些英文字母、基于感知機的神經計算機——Mark1，并于1960年6月23日，展示與眾。

為了‘教導’感知機識別圖像，弗蘭克·羅森布拉特在Hebb學習法則的基礎上，發展了一種迭代、試錯、類似于人類學習過程的學習算法——感知機學習。

除了能夠識別出現較多次的字母，感知機也能對不同書寫方式的字母圖像進行概括和歸納。

但是，由于本身的局限，感知機除了那些包含在訓練集里的圖像以外，不能對受干擾（半遮蔽、不同大小、平移、旋轉）的字母圖像進行可靠的識別。

首個有關感知機的成果，由弗蘭克·羅森布拉特于1958年發表在《ThePerceptron:AProbabilisticModelforInformationStorageandOrganizationintheBrain》的文章里。

1962年，他又出版了《PrinciplesofNeurodynamics:Perceptronsandthetheoryofbrainmechanisms》一書，向大眾深入解釋感知機的理論知識及背景假設。

此書介紹了一些重要的概念及定理證明，例如感知機收斂定理。

為什么淺層神經網絡提取特征的能力不強

BP神經網絡、離散Hopfield網絡、LVQ神經網絡等等都可以。

BP（BackPropagation）神經網絡是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。

BP網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。

BP神經網絡模型拓撲結構包括輸入層（input）、隱層(hiddenlayer)和輸出層(outputlayer)。

2.Hopfiled神經網絡是一種遞歸神經網絡，由約翰·霍普菲爾德在1982年發明。Hopfield網絡是一種結合存儲系統和二元系統的神經網絡。

它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（localminimum），而非全局極小（globalminimum）的情況也可能發生。Hopfiled網絡也提供了模擬人類記憶的模型。

3.LVQ神經網絡由三層組成，即輸入層、隱含層和輸出層，網絡在輸入層與隱含層間為完全連接，而在隱含層與輸出層間為部分連接，每個輸出層神經元與隱含層神經元的不同組相連接。

隱含層和輸出層神經元之間的連接權值固定為1。輸入層和隱含層神經元間連接的權值建立參考矢量的分量（對每個隱含神經元指定一個參考矢量）。在網絡訓練過程中，這些權值被修改。

隱含層神經元（又稱為Kohnen神經元）和輸出神經元都具有二進制輸出值。

當某個輸入模式被送至網絡時，參考矢量最接近輸入模式的隱含神經元因獲得激發而贏得競爭，因而允許它產生一個“1”，而其它隱含層神經元都被迫產生“0”。

與包含獲勝神經元的隱含層神經元組相連接的輸出神經元也發出“1”，而其它輸出神經元均發出“0”。產生“1”的輸出神經元給出輸入模式的類，由此可見，每個輸出神經元被用于表示不同的類。

二十一世紀新四大發明是哪些？

。

21世紀中國新四大發明（具備完全知識產權)：1，三聚氰胺冒充奶粉技術2，地溝油提煉技術3，饅頭染色技術4，健美豬養殖技術21世紀最“無奈”的四大發明第一大發明是打卡機據說打卡機是IBM發明的，自從有了打卡機這玩意，需要天天上班的白領就沒過上一天好日子。

有兩個行為藝術家，曾做過一個著名的實驗，讓一位白領，一年之內什么也不要干，就是每一小時打一次卡。結果是這位白領被折磨得進了精神病院。

第二大發明是方便面民以食為天，但自有了方便面，白領的生活質量便直線下降，十個白領九個菜色。品牌的最高境界是既有知名度，又有美譽度。但方便面品牌是難得有美譽度的。

每逢看到一家老少三代在合家團圓的春節時每人手捧一碗方便面為大家賀歲的廣告時，總覺得老板的腦袋真是進水了。對于白領來說，被老板勒令加班，獨自吃方便面的時候，殺了老板的心都有。

第三大發明是床墊主要指可折疊的單人床墊。據說二十世紀七十年代，在美國硅谷的高科技公司里，可折疊的單人床墊曾大行其道。床是伴隨人類時間最久的伴侶：人們生于斯，愛于斯，死于斯。

但自席夢思開始，床墊有了獨立的法人地位。不用上床，也可以睡覺。這就給了老板要求員工通宵達旦加班以借口。

當白領看到同事從座位底下扯出床墊的時候，尤其是聽說有同事因過勞而“床墊裹尸還”的時候，那心中的悲憤可想而知。

第四大發明是手機白領痛恨手機的主要原因是失去了私人時間，沒有了上下班之分，尤其是老板要求24小時不許關機的工作。

雖然白領痛恨手機但又離不開手機，可謂愛恨交織，唯一的解決之道就是盡量不用公司提供的手機，白領晉級金領的一個標志就是擁有兩部手機，并不是歌里所唱的“等我發了財，買倆大哥大；左手諾基亞，右手摩托羅拉”，而是一部對公手機，一部因私手機。

當然，最高的境界是不用手機，誰有李嘉誠打手機的照片可以發給我，高價征求。

中國20世紀的新四大發明：1雜交水稻：袁隆平1973年發明2漢字激光照排：王選1979年發明3人工合成牛胰島素：鈕經義為首的一大批科技人員與1964年發明4復方蒿甲醚：數百名科學家共同的結果六十年代后期發明美國20世紀的新四大發明：1原子能：奧本海默.等一大批美國科學家1942年在美國建成世界上第一座核裂變反應堆2半導體：巴丁、布萊頓和肖特萊1947年在美國貝爾實驗室發明3計算機：美國賓夕法尼亞大學的毛琪利與愛克特在1946年發明4激光器：美國貝爾實驗室的查爾斯.湯斯與西奧多.梅曼在1960年發明20世紀的“新四大發明”——原子能、半導體、計算機、激光器，又徹底改寫了世界科技發展的歷史。

原子能1911年，物理學家發現電子的中心是帶正電的原子核。1913年，玻爾提出電子在不同軌道上繞原子核運動。1919年，英國物理學家盧瑟福用帶正電的。粒子轟擊氮和氫，發現了質。

1932年，盧瑟福的學生和助手——查德威克發現中子，進而提出原子核由質子和中子組成1938年，物理學家發現重原子核裂變。核能的威力首先被用于戰爭。

1942年6月，美國政府啟動了代號為“曼哈頓工程”的原子武器制造計劃。1945年7月16日，世界上第一顆原子彈在美國新墨西哥州的荒漠上試爆成功。

此后，前蘇聯于1949年、英國1952年、法國于1960年、中國于1964年10月分別研制出并成功地爆炸了原子彈。和平利用原子能，成為整個世界的呼聲。

1942年，世界上第一座裂變反應堆在美國建成；1954年，莫斯科附近的奧布寧斯克原子能發電站投入運行，標志著人類和平利用原子能時代的到來。

1991年，中國的第一座核電站——秦山核電站起用，繼之大亞灣核電站投產。

半導體1947年，美國電報電話公司（AT＆T）貝爾實驗室的三位科學家巴丁、布萊頓和肖克利在研究半導體材料——鍺和硅的物理性質時，意外地發現了鍺晶體具有放大作，經過反復研究，他們用半導體材料制成了放大倍數達100量級的放大器，這便是世界上第一個固體放大器——晶體三極管。

晶體管的出現，迅速替代電子管占領了世界電子領域。隨后，晶體管電路不斷向微型化方向發展。

1957年，美國科學家達默提出“將電子設備制作在一個沒有引線的固體半導體板塊中”的大膽技術思想，這就是半導體集成電路的思想。

1958年，美國德克薩斯州儀器公司的工程師基爾比在一塊半導體硅晶片上電阻、電容等分立元件放入其中，制成第一批集成電路。

1959年，美國仙童公司的諾伊斯用一種平面工藝制成半導體集成電路，“點石成金”，集成電路很快成了比黃金還誘人的產品1971年11月，英特爾（Intel）公司的霍夫將計算機的線路加以改進，把中央處理器的全部功能集成在一塊芯片上，另外再加上存儲器，制成世界上第一個微處理器。

隨著硅片上元件集成度的增加，集成電路的發展經歷了小規模集成電路、中規模集成電路、大規模集成電路和超大規模集成電路（VLSI）階段。

1978年，研制成的超大規模集成電路，集成度達10萬以上，電子技術進入微電子時代。80年代末，芯片上集成的元件數突破1000萬的大關。

計算機1946年，世界上第一臺電子數字積分計算機——埃尼克（ENIAC）在美國賓夕法尼亞大學莫爾學院誕生。

ENIAC猶如一個龐然大物，重達30噸、占地170平方米、內裝18000個電子管，但它運算速度卻比當時最好的機電式計算機快1000倍。ENMC的問世，猶如石破天驚，開辟了信息新時代。

1949年，第一臺存儲程序計算機——EDSAC在劍橋大學投入運行，ENIAC和EDSAC均屬于第一代計算機。1954年，美國貝爾實驗室制成第一臺晶體管計算機——TRADIC，使計算機體積大大縮小。

1958年，美國IBM公司制成全部使用晶體管的計算機，第二代計算機誕生了。第二代計算機的運算速度比第一代計算機提高了近百倍。

60年代中期，隨著集成電路的問世，第三代計算機誕生，其標志產品是1964年由美國IBM公司生產的IBM360系列機。

第四代計算機以大規模集成電路作為邏輯元件和存儲器，使計算機向著微型化和巨型化方向發展。

計算機的微處理器從早期的8086，發展到80286．80386．80486．奔騰（Pentium）、奔騰二代（PentiumⅡ）和奔騰三代（PentiumⅢ）。

當前，第五代計算機——智能計算機的研究正漸入佳境。

智能計算機的主要特征是具備人工智能，能像人一樣思維，并且運算速度極快，它不僅具有一種能夠支持高度并行和推理的硬件系統，還具有能夠處理知識信息的軟件系統。

世紀之交，計算機科技的前沿領域包括：神經網絡計算機。超導計算機、生物計算機和光計算機等。激光器1958年，貝爾實驗室的湯斯和肖洛發表了關于激光器的經典論文，奠定了激光發展的基礎。

1960年，美國人梅曼發明了世界上第一臺紅寶石激光器。1965年，第一臺可產生大功率激光的器件——二氧化碳激光器誕生。1967年，第一臺X射線激光器研制成功。

1997年，美國麻省理工學院的研究人員研制出第一臺原子激光器。

激光器的出現，大大改變了人類的生產與生活：在通信技術領域，光通信依賴的基礎器件便是激光器，用于存儲信息的CD－ROM光盤，可存儲數百兆比特的信息；越洋光通信已進入1萬億比特／8的開發階段；光計算機的研究也正日益深入。

在能源領域，激光可用于工業、軍事上的能量源，大功率激光器被用于受控核聚變研究。

在醫學領域，激光治療已在外科、內科、婦科、牙科、五官科、腫瘤科得到應用，可治療數百種疾病；激光針灸可以無痛，無菌地穿透皮膚，達到治療的目的。

此外，激光在軍事、生物工程等領域也嶄露頭角，應用范圍日益拓寬。由此，激光被人們譽為20世紀的“世紀之光”。

?

總結

以上是生活随笔為你收集整理的深度神经网络是谁发明的,神经网络是谁发明的人的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。