本文為閱讀總結個人認為書里概念性的、對本人有幫助的內容，僅供參考。

羅納德·費雪在他的經典著作《自然選擇的遺傳理論》中提出了關于進化的第一套數學理論。雖然這個理論很妙，但是霍蘭德認為它遺漏了進化論的精華。

費雪孤立地看待每個基因，但是有機體的適應度就是它所有函數的復值函數。如果基因都是獨立的，它們變量的相對頻率會快速收斂至最大適應點，然后從此保持平衡。但如果基因相互作用，進化（追求最大適應度）就要復雜得多。

馮·諾依曼證明了自我再生機器的可能性。

遺傳算法的關鍵輸入就是一個適應度函數。

遺傳算法有點像選擇育種。

遺傳算法能夠頻繁作弊的方法，就是允許有永不滅亡的東西。

霍蘭德稱類似這樣（垃圾郵件分類）的規則集為“分類器系統”，是他建立的機器學習部落中的一匹“馱馬”：演化新論。

分類系統和多層感知器相比，其應用范圍要窄得多。

1972年，尼爾斯·埃爾德雷奇和史蒂芬·杰伊·古爾德提出進化過程由一系列“間斷平衡”組成，長期的停滯和短暫的快速變化互相交替，就像寒武紀爆發那樣。

當前的峰值越高，該過程（某次幸運變異或交叉）發生前的那段時間就越長。

我們應主義遺傳算法和多層感知器的差異程度。反向傳播會在任何給定時間堅持單一假設，而且這個假設會漸漸改變，直到適應某個局部最優值。遺傳算法會在每一步中考慮整個群體的假設，而由于交叉行為，這些假設可以從這一代跨到下一代。

機器學習中最重要的問題之一（也是關于生命最重要的問題之一），就是探索——利用困境。

霍蘭德沒有哪個理論結果表明，交叉行為能起作用。

消除性別對于演化新論者來說，就只剩下變異作為其理論的推動力。

性可以保持群體的多樣性。

性優化的不是適應度，而是他們所謂的“混合度”：當與其他基因結合時，一個基因表現出平均水平良好的能力。

演化新論者和聯結學派重要的共同點是：他們都因為受到自然啟發而設計了學習算法，不過后來分道揚鑣了。演化新論者關注的是學習架構，對他們來說，通過參數優化來對演化的架構進行微調，這是此重要的事情。相反，聯結學派更喜歡用一個簡單、手工編寫的結構，加上許多連接行為，然后讓權值學習來完成所有工作。

終極算法既不是遺傳編程，也不是反向傳播，但它得包含這兩者的重要部分：結構學習和權值學習。

如今在自然和人工進化中，都存在一個很重要的微妙之處。我們會為每個備選的結構而不僅僅是最終的那個，而一直學習權值，目的是為了明白這些結構在生存競爭（在自然情況下）以及訓練數據（在人工條件下）中的表現如何。在每一步中，我們想選擇的結構，是在掌握權值之后（而不是之前），表現最好的那個。因此，實際上，先天 自然并不一定會排在后天培育之前，它們是相互交替的，每輪中的“培育”學習會為下一輪的“自然”學習做好基礎，反之亦然。

進化尋求好的結構，而神經學習則填滿這些結構：這樣的結合是我們走向終極算法最簡單的一步。

最重要的是，機器學習的目標是盡可能找到最好的學習算法，利用一切可能的方法，而進化和大腦不可能提供學習算法。

與聯結學派及演化新論者相反，富豪學派和貝葉斯學派不相信“法自然”的說法。

貫穿心科學和理學的很多領域：是描述性理論與規范性理論之間的分歧。是“這就是它的樣子”與“這就是它應該成為的樣子”之間的分歧。

?

總結

以上是生活随笔為你收集整理的终极算法——第五章：进化学派：自然的学习算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。