本文為閱讀總結(jié)個人認(rèn)為書里概念性的、對本人有幫助的內(nèi)容，僅供參考。

羅納德·費雪在他的經(jīng)典著作《自然選擇的遺傳理論》中提出了關(guān)于進化的第一套數(shù)學(xué)理論。雖然這個理論很妙，但是霍蘭德認(rèn)為它遺漏了進化論的精華。

費雪孤立地看待每個基因，但是有機體的適應(yīng)度就是它所有函數(shù)的復(fù)值函數(shù)。如果基因都是獨立的，它們變量的相對頻率會快速收斂至最大適應(yīng)點，然后從此保持平衡。但如果基因相互作用，進化（追求最大適應(yīng)度）就要復(fù)雜得多。

馮·諾依曼證明了自我再生機器的可能性。

遺傳算法的關(guān)鍵輸入就是一個適應(yīng)度函數(shù)。

遺傳算法有點像選擇育種。

遺傳算法能夠頻繁作弊的方法，就是允許有永不滅亡的東西。

霍蘭德稱類似這樣（垃圾郵件分類）的規(guī)則集為“分類器系統(tǒng)”，是他建立的機器學(xué)習(xí)部落中的一匹“馱馬”：演化新論。

分類系統(tǒng)和多層感知器相比，其應(yīng)用范圍要窄得多。

1972年，尼爾斯·埃爾德雷奇和史蒂芬·杰伊·古爾德提出進化過程由一系列“間斷平衡”組成，長期的停滯和短暫的快速變化互相交替，就像寒武紀(jì)爆發(fā)那樣。

當(dāng)前的峰值越高，該過程（某次幸運變異或交叉）發(fā)生前的那段時間就越長。

我們應(yīng)主義遺傳算法和多層感知器的差異程度。反向傳播會在任何給定時間堅持單一假設(shè)，而且這個假設(shè)會漸漸改變，直到適應(yīng)某個局部最優(yōu)值。遺傳算法會在每一步中考慮整個群體的假設(shè)，而由于交叉行為，這些假設(shè)可以從這一代跨到下一代。

機器學(xué)習(xí)中最重要的問題之一（也是關(guān)于生命最重要的問題之一），就是探索——利用困境。

霍蘭德沒有哪個理論結(jié)果表明，交叉行為能起作用。

消除性別對于演化新論者來說，就只剩下變異作為其理論的推動力。

性可以保持群體的多樣性。

性優(yōu)化的不是適應(yīng)度，而是他們所謂的“混合度”：當(dāng)與其他基因結(jié)合時，一個基因表現(xiàn)出平均水平良好的能力。

演化新論者和聯(lián)結(jié)學(xué)派重要的共同點是：他們都因為受到自然啟發(fā)而設(shè)計了學(xué)習(xí)算法，不過后來分道揚鑣了。演化新論者關(guān)注的是學(xué)習(xí)架構(gòu)，對他們來說，通過參數(shù)優(yōu)化來對演化的架構(gòu)進行微調(diào)，這是此重要的事情。相反，聯(lián)結(jié)學(xué)派更喜歡用一個簡單、手工編寫的結(jié)構(gòu)，加上許多連接行為，然后讓權(quán)值學(xué)習(xí)來完成所有工作。

終極算法既不是遺傳編程，也不是反向傳播，但它得包含這兩者的重要部分：結(jié)構(gòu)學(xué)習(xí)和權(quán)值學(xué)習(xí)。

如今在自然和人工進化中，都存在一個很重要的微妙之處。我們會為每個備選的結(jié)構(gòu)而不僅僅是最終的那個，而一直學(xué)習(xí)權(quán)值，目的是為了明白這些結(jié)構(gòu)在生存競爭（在自然情況下）以及訓(xùn)練數(shù)據(jù)（在人工條件下）中的表現(xiàn)如何。在每一步中，我們想選擇的結(jié)構(gòu)，是在掌握權(quán)值之后（而不是之前），表現(xiàn)最好的那個。因此，實際上，先天 自然并不一定會排在后天培育之前，它們是相互交替的，每輪中的“培育”學(xué)習(xí)會為下一輪的“自然”學(xué)習(xí)做好基礎(chǔ)，反之亦然。

進化尋求好的結(jié)構(gòu)，而神經(jīng)學(xué)習(xí)則填滿這些結(jié)構(gòu)：這樣的結(jié)合是我們走向終極算法最簡單的一步。

最重要的是，機器學(xué)習(xí)的目標(biāo)是盡可能找到最好的學(xué)習(xí)算法，利用一切可能的方法，而進化和大腦不可能提供學(xué)習(xí)算法。

與聯(lián)結(jié)學(xué)派及演化新論者相反，富豪學(xué)派和貝葉斯學(xué)派不相信“法自然”的說法。

貫穿心科學(xué)和理學(xué)的很多領(lǐng)域：是描述性理論與規(guī)范性理論之間的分歧。是“這就是它的樣子”與“這就是它應(yīng)該成為的樣子”之間的分歧。

?

總結(jié)

以上是生活随笔為你收集整理的终极算法——第五章：进化学派：自然的学习算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。