在霍德.利普森位于康奈爾大學(xué)的創(chuàng)意機(jī)器實(shí)驗(yàn)室中，奇形怪狀的機(jī)器人正在學(xué)習(xí)爬行和飛行。這些機(jī)器人并不是人類工程師設(shè)計(jì)出來的，而是進(jìn)化來的，和地球上生命多樣性產(chǎn)生的過程一樣。

使這些機(jī)器人進(jìn)化的算法，是19世紀(jì)由查爾斯.達(dá)爾文發(fā)明的。那時(shí)他不覺得這是一種算法，部分原因在于當(dāng)時(shí)缺少一個(gè)關(guān)鍵的子程序。一旦1953年詹姆斯.沃森和弗朗西斯.克里克提供了該子程序，進(jìn)化就會(huì)進(jìn)入第二個(gè)階段：該進(jìn)化是在計(jì)算機(jī)中而不是活體中進(jìn)行，而且會(huì)比活體進(jìn)化快10億倍。該子程序的提倡者是約翰.霍蘭德。

和許多其他早期的機(jī)器學(xué)習(xí)研究者一樣，霍蘭德開始時(shí)研究的是神經(jīng)網(wǎng)絡(luò)。在密歇根大學(xué)讀研究生時(shí)，他閱讀了羅納德.費(fèi)雪的經(jīng)典著作《自然選擇的遺傳理論》。在該著作中，同時(shí)作為現(xiàn)代統(tǒng)計(jì)學(xué)奠基人的費(fèi)雪，提出了關(guān)于進(jìn)化的第一套數(shù)學(xué)理論。霍蘭德認(rèn)為該理論遺漏了進(jìn)化論的精華，費(fèi)雪孤立地看待每個(gè)基因，但是有機(jī)體的適應(yīng)度就是它所有函數(shù)的復(fù)值函數(shù)。如果基因都是獨(dú)立的，它們變量的相對(duì)頻率會(huì)快速收斂至最大適應(yīng)點(diǎn)，然后從此保持均衡。但如果基因相互作用，進(jìn)化（追求最大適應(yīng)度）就要復(fù)雜得多。

隨著霍蘭德的創(chuàng)作漸漸為人所知，遺傳算法的關(guān)鍵輸入就是一個(gè)適應(yīng)度函數(shù)。給定一個(gè)特定程序和某個(gè)設(shè)定的目標(biāo)，適應(yīng)度函數(shù)會(huì)給程序打分，反映它與目標(biāo)的契合度。

適應(yīng)度函數(shù)將人在這個(gè)過程中扮演的角色概括化了。但和人的角色相比，更為微秒的部分是自然的角色。開始，是一群適應(yīng)力不那么強(qiáng)的個(gè)體（可能是完全隨機(jī)的個(gè)體）遺傳算法得找出變量，然后這些變量依據(jù)適應(yīng)度而被選擇。DNA依據(jù)堿基對(duì)的序列對(duì)機(jī)體進(jìn)行編碼，同理，我們也可以依據(jù)一串二進(jìn)制數(shù)字對(duì)程序進(jìn)行編碼。變量，無論在DNA序列中，還是在位串中，都可通過幾種方法產(chǎn)生。最簡(jiǎn)單的方法就是點(diǎn)突變，即隨意翻轉(zhuǎn)位串中的一個(gè)比特值，或者改變一段DNA中的單個(gè)基本堿基。但對(duì)霍蘭德來說，遺傳算法的真正威力在于更為復(fù)雜的東西：性。

有性生殖包括在父親和母親的染色體之間進(jìn)行材料交換，這個(gè)過程稱作染色體交叉。這個(gè)過程會(huì)產(chǎn)生兩條新的染色體，一條染色體交叉點(diǎn)的一邊是母親的染色體，另外一邊則是父親的染色體，另外一條相反。

遺傳算法通過模擬這個(gè)過程發(fā)揮作用。它為每一代中兩個(gè)適應(yīng)力最強(qiáng)的個(gè)體進(jìn)行配對(duì)，通過隨機(jī)交叉父母位串點(diǎn)中的一點(diǎn)，讓每對(duì)父母生出兩個(gè)后代。將點(diǎn)突變應(yīng)用到新的位串后，算法讓這些點(diǎn)突變?cè)谄涮摂M世界中釋放。每個(gè)點(diǎn)突變都會(huì)反饋適應(yīng)度得分，然后重復(fù)這個(gè)過程。每一代都會(huì)比前一代的適應(yīng)度更高，當(dāng)達(dá)到理想的適應(yīng)度或者時(shí)間用盡時(shí)，這個(gè)過程就會(huì)結(jié)束。

和費(fèi)雪梳理的簡(jiǎn)單模型相比，遺傳算法有了很大的進(jìn)步。通過一組方程來充分體現(xiàn)自然選擇很困難，但將自然選擇表達(dá)為一種算法又是另外一回事，而且這樣還能夠闡明許多其他棘手的問題。為什么一些物種會(huì)突然出現(xiàn)在化石記錄中？能夠證明這些物種是漸漸由早期物種進(jìn)化而來的證據(jù)在哪里？1972年，尼爾斯.埃爾德雷奇和史蒂芬.杰伊.古爾德提出進(jìn)化過程由一系列“間斷平衡”組成，長期的停滯與短暫的快速變化相互交替，就像寒武紀(jì)爆發(fā)那樣。

我們應(yīng)注意遺傳算法和多層感知器的差異程度。反向傳播會(huì)在任何給定時(shí)間堅(jiān)持單一假設(shè)，而且這個(gè)假設(shè)會(huì)漸漸改變，直到其適應(yīng)某個(gè)局部最優(yōu)值。遺傳算法會(huì)在每一步中考慮整個(gè)群體的假設(shè)，而由于交叉行為，這些假設(shè)可以從這一代跨到下一代。將初始權(quán)值設(shè)為小的隨機(jī)值后，反向傳播才會(huì)確定繼續(xù)進(jìn)行下去。相反，遺傳算法則充滿隨機(jī)選擇：該使哪些假設(shè)成立并進(jìn)行交叉（適應(yīng)度更高的假設(shè)更有可能成為備選對(duì)象），該在哪里對(duì)兩個(gè)字符串進(jìn)行交叉，該使哪些比特的信息發(fā)生突變。反向傳播為了預(yù)先設(shè)定的網(wǎng)絡(luò)結(jié)構(gòu)掌握權(quán)值；密集度更大的網(wǎng)絡(luò)更為靈活，但掌握起來也更困難。除了通用式外，遺傳算法不會(huì)對(duì)它們即將學(xué)習(xí)的結(jié)構(gòu)進(jìn)行預(yù)先假設(shè)。

因?yàn)檫@個(gè)原因，和反向傳播相比，遺傳算法陷入局部最優(yōu)值困境的可能性更小，而且原則上也更有可能找到真正新穎的東西，但遺傳算法分析起來也要難得多。

遺傳算法的靈活之處就在于，每個(gè)字符串都暗含指數(shù)數(shù)量的構(gòu)造塊，被稱為“基?！?#xff0c;因此該研究比它看起來的還要高效的多。這是因?yàn)樽址忍氐拿總€(gè)子集都是一個(gè)基膜，代表可能合適的性能組合，而一個(gè)字符串有指數(shù)數(shù)量的子集。我們可以用這樣的方法來代表基模，也就是用“*”來代替字符串中不屬于該字符串的比特。相反，在群體中，一個(gè)特定的基?？赡苡稍S多不同的字符串來表示，而且每當(dāng)這時(shí)，這些基模都會(huì)受到隱式評(píng)估。假設(shè)在下一代中仍然成立的概率與其適應(yīng)度成正比，那會(huì)怎樣？霍蘭德表明，在這種情況下，和平均值相比，在某代中表示基模的字符串適應(yīng)度越高——我們能期望的——在下一代中看到這些表示字符串的數(shù)量也越多。那么雖然遺傳算法暗地里對(duì)字符進(jìn)行操縱，它也會(huì)找到基模更大的可能性。隨著時(shí)間的流逝，適應(yīng)度更高的基模會(huì)主導(dǎo)群體。

在開始的幾十年，遺傳算法的陣營主要由約翰.霍蘭德、他的學(xué)生、這些學(xué)生的學(xué)生組成。大約在1983年的時(shí)候，遺傳算法解決的最大問題就是學(xué)會(huì)控制天然氣管道系統(tǒng)。不過，大概同樣的時(shí)間段，神經(jīng)網(wǎng)絡(luò)回歸了，人們對(duì)進(jìn)化計(jì)算的興趣也開始濃厚起來。

霍蘭德的學(xué)生中較為出色的是約翰.科扎。1987年，他在意大利參加會(huì)議，飛回加利福尼亞時(shí)，有一瞬間他突然醒悟了。我們要不要對(duì)成熟的計(jì)算機(jī)程序進(jìn)行進(jìn)化，而不是發(fā)展相對(duì)簡(jiǎn)單的東西?？圃Q他的方法為“遺傳編程”，在這個(gè)方法中，我們通過隨機(jī)交換程序樹的兩棵子樹，來對(duì)兩棵程序樹進(jìn)行交叉。我們可以測(cè)量程序的適應(yīng)度（或缺乏適應(yīng)度），方法就是通過其輸出值與訓(xùn)練數(shù)據(jù)中的準(zhǔn)確值之間的差距來判斷。

遺傳編程的第一次成功是在1995年，也就是成功設(shè)計(jì)了電子電路。下一個(gè)里程碑于2005年到來，當(dāng)時(shí)美國專利及商標(biāo)局為一項(xiàng)專利頒獎(jiǎng)，該專利根據(jù)遺傳學(xué)設(shè)計(jì)，是工廠的優(yōu)化系統(tǒng)。

演化新論者和聯(lián)結(jié)學(xué)派重要的共同點(diǎn)是：他們都因?yàn)槭艿阶匀粏l(fā)而設(shè)計(jì)了學(xué)習(xí)算法，不過后來分道揚(yáng)鑣了。演化新論者關(guān)注的是學(xué)習(xí)架構(gòu)，對(duì)他們來說，通過參數(shù)優(yōu)化來對(duì)演化的架構(gòu)進(jìn)行微調(diào)，這是次重要的事情。相反，聯(lián)結(jié)學(xué)派更喜歡用一個(gè)簡(jiǎn)單、手工編寫的結(jié)構(gòu)，加上許多連接行為，然后讓權(quán)值學(xué)習(xí)來完成所有工作。這就是機(jī)器學(xué)習(xí)版本關(guān)于先天和后天的爭(zhēng)論，而且雙方都有很好的論據(jù)。

在先天與后天的爭(zhēng)論中，兩方都沒有完整的答案，關(guān)鍵在于找到如何將兩方結(jié)合起來。終極算法既不是遺傳編程，也不是反向傳播，但它得包含這兩者的重要部分：結(jié)構(gòu)學(xué)習(xí)和權(quán)值學(xué)習(xí)。

“鮑德溫效應(yīng)”是由J.M.鮑德溫于1986年提出來的。在鮑德溫進(jìn)化中，初次掌握的行為，之后會(huì)變成天生的本領(lǐng)。

進(jìn)化尋求好的結(jié)構(gòu)，而神經(jīng)學(xué)則填滿這些結(jié)構(gòu)：這樣的結(jié)合是我們走向終極算法最簡(jiǎn)單的一步。

機(jī)器學(xué)習(xí)的目標(biāo)是盡可能找到最好的學(xué)習(xí)算法，利用一切可能的方法，而進(jìn)化和大腦不可能提供學(xué)習(xí)算法。進(jìn)化的產(chǎn)物有很多明顯的錯(cuò)誤。

與聯(lián)結(jié)學(xué)派及演化新論者相反，符號(hào)學(xué)派和貝葉斯學(xué)派不相信“法自然”的說法。他們想從基本原理中找出學(xué)習(xí)算法該做什么，而且也包括我們?nèi)祟悺７?hào)學(xué)派和貝葉斯學(xué)派想指出，弄明白“我們?cè)撛鯓訉W(xué)習(xí)”也可以幫助我們了解人類如何學(xué)習(xí)，因?yàn)檫@兩者大概不會(huì)完全不相關(guān)（遠(yuǎn)非如此）。特別指出的是，對(duì)于生存有重要意義、已經(jīng)經(jīng)歷很長一段時(shí)間進(jìn)化的行為應(yīng)該就是最優(yōu)的。

在20世紀(jì)八九十年代，聯(lián)結(jié)主義者占支配地位，但現(xiàn)在貝葉斯學(xué)者的數(shù)量正在上升。最優(yōu)學(xué)習(xí)是貝葉斯學(xué)派的中心目標(biāo)，而且他們肯定自己已經(jīng)找到了實(shí)現(xiàn)這個(gè)目標(biāo)的方法。請(qǐng)看下章......

參考文獻(xiàn)：

?終極算法. [美] Pedro Domingos 著. 黃芳萍 譯

總結(jié)

以上是生活随笔為你收集整理的终极算法【5】——进化学派的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。