赫布律是聯結主義的基石，聯結主義相信知識存儲在神經元之間的聯結關系中。威廉.詹姆斯在其著作《心理學原理》中，闡明了連接的主要原理，這和赫布律十分相似，只是大腦活動被神經元取代，放電效率被興奮的傳播取代。

在符號學派中，符號和它們之間代表的概念之間有一一對應的關系。相反，聯結學派的代表方式卻是分散式的：每個概念由許多神經元來表示，而每個神經元又會和其他神經元一起代表許多不同的概念。符號學派和聯結學派的另一個區別就在于，前者是按次序的，而后者是平行的。

第一個正式的神經元模型是由沃倫.麥卡洛克和沃爾特.皮茨于1943年提出的。這個模型看起來很像組成計算機的邏輯門。當“或”門至少一個輸入開關打開時，“或”門開通；當所有輸入開關打開時，“且”門開通。

麥卡洛克-皮茨神經元做不了的事情就是學習。為此我們需要對神經元之間的連接給予不同的權重，這就是所謂的“感知器”。感知器于20世紀50年代由康奈爾大學的心理學家弗蘭克.羅森布拉特發明。在感知器中，一個正權值代表一個興奮連接，一個負權值代表一個抑制性連接。如果其輸入量的加權和高于界限值，那么會輸出1；如果加權和小于界限值，那么輸入0。通過改變權值和界限值，我們可以改變感知器計算的函數。當然，這種做法忽略了神經元發揮作用的很多細節，但我們想讓這個過程盡可能簡單點。

1969年，明斯基和西摩爾.佩普特一起出版了《感知器》一書，該書詳細介紹了同名算法的缺點，還一一列舉了該算法無法學習的內容。最簡單的一個就是排斥——“或”功能（XOR）。如果它其中的一個輸入量是對的，那么這就是對的，但如果兩個都是對的，則是錯的。

既然感知器只能學習線性界限，那么它就無法對XOR進行學習。而如果感知器無法做到這一點，就無法很好地模擬大腦學習的方法，也不是終極算法可行的備選項。

1982年，霍普菲爾德發現了大腦和自旋玻璃驚人的相似之處，自旋玻璃是深受統計物理學家喜愛的特殊材料。旋轉玻璃其實并不是玻璃，雖然有一些玻璃的屬性，其實是磁性材料。自旋玻璃是大腦的一個不現實模型。對于一個電子來說，自旋相互作用是對稱的，而大腦中神經元之間的連接卻不是對稱的。

就相鄰神經元而言，一個神經元只能處于兩種狀態：放電或不放電。但這忽略了一個很重要的巧妙之處。動作電位壽命短，電壓會在一秒之內驟然升高，然后突然回到靜息狀態。而單個峰值對接收神經幾乎不會有影響，為了喚醒接收神經，需要一連串連續不斷的峰值。

神經元與其說是一道邏輯門，不如說是一臺電壓頻率轉換器。隨電壓而變化的頻率曲線看起來像被拉長的字母S，它有很多叫法，比如邏輯函數、S形函數和S形曲線。

S形曲線作為一個獨立的模型，不僅很重要，它還是數學的萬事通。如果放大它的中段部位，你會發現它近似一條直線。很多我們認為是線性的現象，其實都是S形曲線，因為沒有什么能夠毫無限制地增長下去。

在感知器算法中，誤差信號要么是全有，要么是全無：你不是收到對的信號，就是收到錯的信號。反向傳播，正如這個算法為人們所知的一樣，比感知器算法要強大很多。單個神經元只能夠對直線進行學習。給定足夠的隱藏神經，一臺多層感知器，正如它的名字一樣，可以代表任意的復雜邊界。這使得反向傳播成為聯結學派的主算法。

反向傳播是自然及技術領域中非常常見的戰略實例：如果你著急爬到山頂，那你就得爬找到的最陡的坡。這在技術上的術語為“梯度上升”或“梯度下降”。反向傳播就是在多層感知器中有效做到這一點的方法：不斷對權值進行微調，以降低誤差，然后當所有調整失敗時，停止調整。

在反向傳播初次進入公眾視線時，聯結學派幻想能夠快速掌握越來越大規模的網絡，直到硬件允許的條件下，這些網絡等同于人工大腦。結果卻并非如此。掌握擁有一個隱含層的網絡沒問題，但在那之后，很快事情就會變得很困難。幾層的網絡，只有為了應用而精心設計的才能起作用。超出這個范圍，反向傳播就會癱瘓。

如果聯結學派是過山車，那么對于最近的過山車轉彎，貢獻者之一的就是看上去普通的小設備，稱為“自動編碼器”。自動編碼器就是一臺多層感知器，其輸出量和輸入量一樣。

疊加自動編碼器不是唯一的深度學習算法，另外一種以玻爾茲曼機器作為基礎，還有一種——卷積神經網絡，則把視皮質模型作為基礎。盡管取得了很大的成功，然而這些成果仍與大腦相去甚遠。

聯結學派的一些人高調稱，反向傳播就是終極算法，而我們只需擴大反向傳播的規模。但符合學派對這種想法不屑一顧，他們指出一長串人類能做但神經網絡做不了的事情。

如果人類具備的各種能力，大腦不經過調整突觸就能掌握這些能力，那么這些能力從何而來？除非相信魔法，答案一定是：通過進化而來。

參考文獻：
????終極算法. [美] Pedro Domingos 著. 黃芳萍 譯

總結

以上是生活随笔為你收集整理的终极算法【4】——联结学派的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。