弗雷德·賈里尼克（IBM語(yǔ)音研究組的領(lǐng)導(dǎo)）說(shuō)過一句著名的俏皮話：“每開除一名語(yǔ)言學(xué)家，我的語(yǔ)音識(shí)別系統(tǒng)的錯(cuò)誤率就降低一個(gè)百分點(diǎn)。”

《終極算法：機(jī)器學(xué)習(xí)和人工智能如何重塑世界》

([美]佩德羅·多明戈斯)

　　比爾·蓋茨年度薦書！佩德羅·多明戈斯著的《終極算法機(jī)器學(xué)習(xí)和人工智能如何重塑世界精》是近20年人工智能領(lǐng)域具轟動(dòng)性的著作！本書揭秘機(jī)器學(xué)習(xí)的終極邏輯，全景勾勒人工智能的商業(yè)未來(lái)。《喬布斯傳》作者沃爾特·艾薩克森、圖靈獎(jiǎng)得主朱迪亞·珀?duì)枴⒅袊?guó)大數(shù)據(jù)領(lǐng)航人車品覺、今日頭條首席算法架構(gòu)師曹歡歡傾力推薦！

　　本文章內(nèi)容摘自上書，有興趣的請(qǐng)自行查閱原書。

　　所有知識(shí)，無(wú)論是過去的、現(xiàn)在的還是未來(lái)的，都有可能通過單個(gè)通用學(xué)習(xí)算法來(lái)從數(shù)據(jù)中獲得。我將該學(xué)習(xí)算法稱為“終極算法”。如果這種算法成為可能，它的發(fā)明將成為人類最偉大的科學(xué)成就之一。實(shí)際上，終極算法是我們最不愿意發(fā)明的東西，因?yàn)橐坏?duì)其放松，它會(huì)繼續(xù)發(fā)明一切有可能發(fā)明的東西。我們要做的，就是為它提供足夠、適當(dāng)?shù)臄?shù)據(jù)，通過這些數(shù)據(jù)，它會(huì)發(fā)現(xiàn)相應(yīng)的知識(shí)：給它視頻流，它就會(huì)觀看；給它圖書館，它就會(huì)閱讀；給它物理實(shí)驗(yàn)結(jié)果，它就會(huì)發(fā)現(xiàn)物理定律；給它DNA晶體學(xué)數(shù)據(jù)，它就會(huì)發(fā)現(xiàn)DNA的結(jié)構(gòu)。

機(jī)器學(xué)習(xí)的五個(gè)學(xué)派

　　機(jī)器學(xué)習(xí)主要有5個(gè)學(xué)派，我們會(huì)對(duì)每個(gè)學(xué)派分別介紹：

• 符號(hào)學(xué)派
  
  • 將學(xué)習(xí)看作逆向演繹，并從哲學(xué)、心理學(xué)、邏輯學(xué)中尋求洞見；
• 聯(lián)結(jié)學(xué)派
  
  • 對(duì)大腦進(jìn)行逆向分析，靈感來(lái)源于神經(jīng)科學(xué)和物理學(xué)；
• 進(jìn)化學(xué)派
  
  • 在計(jì)算機(jī)上模擬進(jìn)化，并利用遺傳學(xué)和進(jìn)化生物學(xué)知識(shí)；
• 貝葉斯學(xué)派
  
  • 認(rèn)為學(xué)習(xí)是一種概率推理形式，理論根基在于統(tǒng)計(jì)學(xué)；
• 類推學(xué)派
  
  • 通過對(duì)相似性判斷的外推來(lái)進(jìn)行學(xué)習(xí)，并受心理學(xué)和數(shù)學(xué)最優(yōu)化的影響。

五個(gè)學(xué)派各自算法特點(diǎn)

　　機(jī)器學(xué)習(xí)的5個(gè)學(xué)派都有自己的主算法，利用這種萬(wàn)能學(xué)習(xí)算法，原則上，你可以通過任何領(lǐng)域的數(shù)據(jù)來(lái)挖掘知識(shí)：

• 符號(hào)學(xué)派
  
  • 主算法是逆向演繹
• 聯(lián)結(jié)學(xué)派
  
  • 主算法是反向傳播
• 進(jìn)化學(xué)派
  
  • 主算法是遺傳編程
• 貝葉斯學(xué)派
  
  • 主算法是貝葉斯推理
• 類推學(xué)派
  
  • 主算法是支持向量機(jī)

---

　　在實(shí)踐中，這些算法可能在有些工作中可用，而在其他工作中不可用。我們真正想要尋找的是能夠綜合這5種算法的終極算法。雖然有些人認(rèn)為這難以實(shí)現(xiàn)，但對(duì)機(jī)器學(xué)習(xí)領(lǐng)域的人來(lái)說(shuō)，這個(gè)夢(mèng)想賦予我們力量，促使我們夜以繼日地工作。

機(jī)器學(xué)習(xí)的商業(yè)用途

　　如果你的主要興趣是機(jī)器學(xué)習(xí)的商業(yè)用途，那么本書至少能通過6種方法幫助你：

• 成為分析學(xué)中更精明的消費(fèi)者；
• 充分利用你的數(shù)據(jù)專家；
• 減少許多數(shù)據(jù)挖掘項(xiàng)目的隱患；
• 看看如果不買手寫編碼軟件，你能讓什么進(jìn)行自動(dòng)操作；
• 降低信息系統(tǒng)的僵硬度；
• 期待正朝你走來(lái)的新技術(shù)。

機(jī)器學(xué)習(xí)的形勢(shì)

　　機(jī)器學(xué)習(xí)有許多不同的形式，也會(huì)涉及許多不同的名字：模式識(shí)別、統(tǒng)計(jì)建模、數(shù)據(jù)挖掘、知識(shí)發(fā)現(xiàn)、預(yù)測(cè)分析、數(shù)據(jù)科學(xué)、適應(yīng)系統(tǒng)、自組織系統(tǒng)等。這些概念供不同群體使用，擁有不同的聯(lián)系。有些有很長(zhǎng)的半衰期，有些則較短。

學(xué)習(xí)算法

　　例如，樸素貝葉斯算法就是一個(gè)可以用短方程來(lái)表達(dá)的學(xué)習(xí)算法。只要提供患者病歷的數(shù)據(jù)庫(kù)，包括病人的癥狀、檢查結(jié)果，或者他們是否有什么特殊情況，樸素貝葉斯算法就可在一秒之內(nèi)做出診斷，而且往往比那些花幾年在醫(yī)學(xué)院學(xué)習(xí)的醫(yī)生還要強(qiáng)，甚至它還可打敗花費(fèi)數(shù)千小時(shí)構(gòu)建的醫(yī)學(xué)專家系統(tǒng)。該算法還可應(yīng)用于學(xué)習(xí)垃圾郵件過濾器，乍一看，這和醫(yī)療診斷毫無(wú)關(guān)系。另外一個(gè)簡(jiǎn)單的學(xué)習(xí)算法就是最近鄰算法，它的用途十分廣泛，從筆跡識(shí)別到控制機(jī)器人手，以及推薦你可能喜歡的書籍或者電影。決策樹學(xué)習(xí)算法也同樣擅長(zhǎng)決定你的信用卡申請(qǐng)是否應(yīng)被通過、尋找DNA中的絞接點(diǎn)，以及下棋時(shí)指導(dǎo)下一步該怎么走。
　　實(shí)際上，對(duì)所有主要的學(xué)習(xí)算法——包括最近鄰算法、決策樹學(xué)習(xí)算法以及貝葉斯網(wǎng)絡(luò)（樸素貝葉斯的概括）——來(lái)說(shuō)，如果你為學(xué)習(xí)算法提供足夠、適當(dāng)?shù)臄?shù)據(jù)，該算法可以實(shí)現(xiàn)任一功能（對(duì)學(xué)習(xí)任何東西來(lái)說(shuō)，都與數(shù)學(xué)相關(guān)）。需要注意的是，“足夠數(shù)據(jù)”也有可能無(wú)限。學(xué)習(xí)無(wú)限數(shù)據(jù)需要做出假設(shè)，如我們會(huì)看到的那樣，而且不同的學(xué)習(xí)算法會(huì)有不同的假設(shè)。

各個(gè)學(xué)派的核心理念和關(guān)注的特定問題

　　我們尋找終極算法的過程是復(fù)雜且活躍的，因?yàn)樵跈C(jī)器學(xué)習(xí)領(lǐng)域存在不同思想的學(xué)派，主要學(xué)派包括符號(hào)學(xué)派、聯(lián)結(jié)學(xué)派、進(jìn)化學(xué)派、貝葉斯學(xué)派、類推學(xué)派。每個(gè)學(xué)派都有其核心理念以及其關(guān)注的特定問題。在綜合幾個(gè)學(xué)派理念的基礎(chǔ)上，每個(gè)學(xué)派都已經(jīng)找到該問題的解決方法，而且有體現(xiàn)本學(xué)派的主算法。
　　對(duì)于符號(hào)學(xué)派來(lái)說(shuō)，所有的信息都可以簡(jiǎn)化為操作符號(hào)，就像數(shù)學(xué)家那樣，為了解方程，會(huì)用其他表達(dá)式來(lái)代替本來(lái)的表達(dá)式。符號(hào)學(xué)者明白你不能從零開始學(xué)習(xí)：除了數(shù)據(jù)，你還需要一些原始的知識(shí)。他們已經(jīng)弄明白，如何把先前存在的知識(shí)并入學(xué)習(xí)中，如何結(jié)合動(dòng)態(tài)的知識(shí)來(lái)解決新問題。他們的主算法是逆向演繹，逆向演繹致力于弄明白，為了使演繹進(jìn)展順利，哪些知識(shí)被省略了，然后弄明白是什么讓主算法變得越來(lái)越綜合。
　　對(duì)于聯(lián)結(jié)學(xué)派來(lái)說(shuō)，學(xué)習(xí)就是大腦所做的事情，因此我們要做的就是對(duì)大腦進(jìn)行逆向演繹。大腦通過調(diào)整神經(jīng)元之間連接的強(qiáng)度來(lái)進(jìn)行學(xué)習(xí)，關(guān)鍵問題是找到哪些連接導(dǎo)致了誤差，以及如何糾正這些誤差。聯(lián)結(jié)學(xué)派的主算法是反向傳播學(xué)習(xí)算法，該算法將系統(tǒng)的輸出與想要的結(jié)果相比較，然后連續(xù)一層一層地改變神經(jīng)元之間的連接，目的是為了使輸出的東西接近想要的東西。
　　進(jìn)化學(xué)派認(rèn)為，所有形式的學(xué)習(xí)都源于自然選擇。如果自然選擇造就我們，那么它就可以造就一切，我們要做的，就是在計(jì)算機(jī)上對(duì)它進(jìn)行模仿。進(jìn)化主義解決的關(guān)鍵問題是學(xué)習(xí)結(jié)構(gòu)：不只是像反向傳播那樣調(diào)整參數(shù)，它還創(chuàng)造大腦，用來(lái)對(duì)參數(shù)進(jìn)行微調(diào)。進(jìn)化學(xué)派的主算法是基因編程，和自然使有機(jī)體交配和進(jìn)化那樣，基因編程也對(duì)計(jì)算機(jī)程序進(jìn)行配對(duì)和提升。
　　貝葉斯學(xué)派最關(guān)注的問題是不確定性。所有掌握的知識(shí)都有不確定性，而且學(xué)習(xí)知識(shí)的過程也是一種不確定的推理形式。那么問題就變成，在不破壞信息的情況下，如何處理嘈雜、不完整甚至自相矛盾的信息。解決的辦法就是運(yùn)用概率推理，而主算法就是貝葉斯定理及其衍生定理。貝葉斯定理告訴我們，如何將新的證據(jù)并入我們的信仰中，而概率推理算法盡可能有效地做到這一點(diǎn)。
　　對(duì)于類推學(xué)派來(lái)說(shuō)，學(xué)習(xí)的關(guān)鍵就是要在不同場(chǎng)景中認(rèn)識(shí)到相似性，然后由此推導(dǎo)出其他相似性。如果兩個(gè)病人有相似的癥狀，那么也許他們患有相同的疾病。問題的關(guān)鍵是，如何判斷兩個(gè)事物的相似程度。類推學(xué)派的主算法是支持向量機(jī)，主算法找出要記憶的經(jīng)歷，以及弄明白如何將這些經(jīng)歷結(jié)合起來(lái)，用來(lái)做新的預(yù)測(cè)。
　　 每個(gè)學(xué)派對(duì)其中心問題的解決方法都是一個(gè)輝煌、來(lái)之不易的進(jìn)步，但真正的終極算法應(yīng)該把5個(gè)學(xué)派的5個(gè)問題都解決，而不是只解決一個(gè)。

聯(lián)結(jié)學(xué)派與符號(hào)學(xué)派

　　聯(lián)結(jié)學(xué)派對(duì)符號(hào)學(xué)派尤其不滿。根據(jù)他們的觀點(diǎn)，你能通過邏輯規(guī)則來(lái)定義的概念僅僅是冰山一角，其實(shí)表面之下還有很多東西是形式推理無(wú)法看到的。而同樣的道理，我們腦子里所想的東西也是潛意識(shí)的。你不能僅靠構(gòu)造一個(gè)空洞的機(jī)械化科學(xué)家，就想讓他把所有有意義的事情完成，你首先得給他點(diǎn)什么東西，例如一個(gè)真正的大腦，能和真實(shí)的感覺相連，在真實(shí)世界中成長(zhǎng)，甚至可能要常常絆他的腳。你怎樣才能構(gòu)造這樣的大腦呢？通過逆向分析。如果想對(duì)一輛車進(jìn)行逆向分析，你就應(yīng)看看發(fā)動(dòng)機(jī)蓋下面。如果想對(duì)大腦進(jìn)行逆向分析，你就要看看腦殼里面。

逆向演繹

　　逆向演繹就像一個(gè)超級(jí)科學(xué)家，系統(tǒng)查看論據(jù)，思考可行的歸納法，整理最有利的證據(jù)，然后將這些和其他論據(jù)一起，進(jìn)一步提出假設(shè)——所有過程都基于計(jì)算機(jī)的速度。逆向演繹簡(jiǎn)潔而美觀，至少符合符號(hào)學(xué)者的品位。此外，逆向演繹也有一些嚴(yán)重的缺點(diǎn)。可行的歸納法數(shù)量廣泛，除非我們和最初知識(shí)保持親密關(guān)系，否則很容易在空間中迷失。逆向演繹容易被噪聲迷惑：我們?cè)鯓硬拍苤?#xff0c;哪些演繹步驟被漏掉了，如果前提或者結(jié)論本身就已出錯(cuò)？最嚴(yán)重的是，真正的概念很少能通過一個(gè)規(guī)則集來(lái)定義。它們不是黑，也不是白，比如垃圾郵件和非垃圾郵件之間有一片很大的灰色區(qū)域。要獲取真正的概念，就得權(quán)衡并收集有弱點(diǎn)的論據(jù)，直到出現(xiàn)清晰的定義。疾病的診斷，涉及把重點(diǎn)放在一些癥狀上面，然后放棄那些不完整的論據(jù)。還沒有人能只學(xué)習(xí)一個(gè)規(guī)則組，就能通過觀看圖片的像素來(lái)認(rèn)出一只貓，而且可能以后也沒人能做到。

零碎

玻爾茲曼機(jī)器

　　玻爾茲曼機(jī)器原則上可以解決贊譽(yù)分布問題，但在實(shí)踐中，學(xué)習(xí)這個(gè)行為非常緩慢且痛苦，對(duì)大多數(shù)應(yīng)用來(lái)說(shuō)，玻爾茲曼機(jī)器有點(diǎn)不切實(shí)際。下一個(gè)突破會(huì)涉及解決麥卡洛克和皮茨時(shí)期的另外一個(gè)過度簡(jiǎn)化（oversimplication）問題。

S形曲線

　　S形曲線作為一個(gè)獨(dú)立的模型，不僅很重要，它還是數(shù)學(xué)的萬(wàn)事通。如果放大它的中段部位，你會(huì)發(fā)現(xiàn)它近似一條直線。很多我們認(rèn)為是線性的現(xiàn)象，其實(shí)都是S形曲線，因?yàn)闆]有什么能夠毫無(wú)限制地增長(zhǎng)下去。
　　S形曲線是線性函數(shù)非智能性和階躍函數(shù)難解性的完美中轉(zhuǎn)站。

樸素貝葉斯

　　一個(gè)基本的搜索引擎也會(huì)利用與樸素貝葉斯法極相似的算法來(lái)決定顯示哪些頁(yè)面來(lái)回應(yīng)你的搜索。主要的區(qū)別在于：它會(huì)預(yù)測(cè)相關(guān)或非相關(guān)，而不是垃圾郵件或非垃圾郵件。運(yùn)用樸素貝葉斯法來(lái)解決預(yù)測(cè)問題的例子幾乎數(shù)不勝數(shù)。彼得·諾爾維格（谷歌的研究主任）一度告訴我，這是谷歌應(yīng)用最為廣泛的算法，谷歌的機(jī)器學(xué)習(xí)在每個(gè)角落都利用了該算法的功能。為什么樸素貝葉斯法會(huì)在谷歌員工中流行起來(lái)？這個(gè)問題不難回答。除了驚人的準(zhǔn)確度，它的測(cè)量能力也很強(qiáng)。學(xué)習(xí)樸素貝葉斯分類器的原理，也僅相當(dāng)于數(shù)出每個(gè)屬性與每個(gè)類別出現(xiàn)的次數(shù)，花的時(shí)間不比從硬盤讀取數(shù)據(jù)的時(shí)間長(zhǎng)。

HMM

　　HMM還是計(jì)算生物學(xué)家最為喜愛的工具。一個(gè)蛋白質(zhì)分子是一個(gè)氨基酸序列，而DNA則是一個(gè)堿基序列。舉個(gè)例子，如果我們想預(yù)測(cè)一個(gè)蛋白質(zhì)分子怎樣才能形成三維形狀，我們可以把氨基酸當(dāng)作觀察值，把每個(gè)點(diǎn)的褶皺類型當(dāng)作隱藏狀態(tài)。同樣，我們可以用一個(gè)HMM來(lái)確定DNA中基因開始轉(zhuǎn)錄的地點(diǎn)，還可以確定其他許多屬性。 如果狀態(tài)和觀察值都是連續(xù)而非離散變量，那么HMM就變成人們熟知的卡爾曼濾波器。經(jīng)濟(jì)學(xué)家利用卡爾曼濾波器來(lái)從數(shù)量的時(shí)間序列中消除冗余，比如GDP（國(guó)內(nèi)生產(chǎn)總值）、通貨膨脹、失業(yè)率。“真正的”GDP值屬于隱藏的狀態(tài)；在每一個(gè)時(shí)間點(diǎn)上，真值應(yīng)該與觀察值相似，同時(shí)也與之前的真值相似，因?yàn)榻?jīng)濟(jì)很少會(huì)突然跳躍式增長(zhǎng)。卡爾曼濾波器會(huì)交替使用這兩者，同時(shí)會(huì)生成流暢的曲線，仍與觀察值一致。當(dāng)導(dǎo)彈巡航到目的地時(shí)，就是卡爾曼濾波器使它保持在軌道上。沒有卡爾曼濾波器，人類就無(wú)法登上月球。

馬爾可夫鏈蒙特卡洛理論-MCMC

　　最受人青睞的選擇就是借酒澆愁，喝得酩酊大醉，然后整夜都在跌跌撞撞。該選擇的技術(shù)術(shù)語(yǔ)為“馬爾可夫鏈蒙特卡洛理論”（Markov chain Monte Carlo，MCMC）：有“蒙特卡洛”這個(gè)部分，是因?yàn)檫@個(gè)方法涉及機(jī)遇，比如到同名的賭場(chǎng)去，有“馬爾可夫鏈”部分，是因?yàn)樗婕安扇∫幌盗写胧?#xff0c;每個(gè)措施只能依賴于前一個(gè)措施。MCMC中的思想就是隨便走走，就像眾所周知的醉漢那樣，以這樣的方式從網(wǎng)絡(luò)的這個(gè)狀態(tài)跳到另一個(gè)狀態(tài)。這樣長(zhǎng)期下來(lái)，每個(gè)狀態(tài)受訪的次數(shù)就與它的概率成正比。比如，接下來(lái)我們可以估算盜竊案的概率為我們?cè)L問某個(gè)狀態(tài)的時(shí)間段，在這個(gè)狀態(tài)中有一起盜竊案。一條“守規(guī)矩的”馬爾可夫鏈會(huì)收斂到穩(wěn)定分布中，所以過一會(huì)兒它總會(huì)給出大致一樣的答案。

稀疏自動(dòng)編碼器

　　網(wǎng)絡(luò)現(xiàn)在有比之前多很多的參數(shù)，那么你所處的超空間會(huì)有更多的維度，而你也有更多的方法來(lái)逃出局部最大值的困境。這就叫作稀疏自動(dòng)編碼器，而它是一個(gè)訣竅。

類比

　　類比在機(jī)器學(xué)習(xí)中扮演重要角色就不足為奇了。剛開始它進(jìn)展緩慢，甚至被神經(jīng)網(wǎng)絡(luò)奪走了光芒。它的第一個(gè)算法的化身出現(xiàn)在一份寫于1951年、名不見經(jīng)傳的技術(shù)報(bào)告中，作者是兩位伯克利的統(tǒng)計(jì)學(xué)家——伊夫琳·菲克斯和喬·霍奇斯。這篇報(bào)告幾十年之后才發(fā)表于主流期刊中。但同時(shí)，關(guān)于菲克斯和霍奇斯的算法的論文也開始出現(xiàn)，后來(lái)逐漸增加，直到它成為計(jì)算機(jī)科學(xué)界中受到研究最多的文章之一。最近鄰算法，正如其名，是我們類比學(xué)習(xí)法之旅的第一站。第二站是支持向量機(jī)，這是世紀(jì)之交風(fēng)靡機(jī)器學(xué)習(xí)領(lǐng)域的原理，但最近風(fēng)頭被深度學(xué)習(xí)掩蓋。第三站也是最后一站，是成熟的類比推理法，幾十年來(lái)是心理學(xué)和人工智能的重要組成部分，也是幾十年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域的背景主題。 5個(gè)學(xué)派中，類推學(xué)派是最不具有凝聚力的一個(gè)學(xué)派。
　　在機(jī)器學(xué)習(xí)中，相似性是核心思想之一，而類推學(xué)派會(huì)以各種偽裝的方式來(lái)保護(hù)它。也許在未來(lái)10年，機(jī)器學(xué)習(xí)會(huì)被深度類比統(tǒng)治，在某種算法中，與最近鄰法的高效、支持向量機(jī)的數(shù)學(xué)精密性、類比推理的力量和靈活性結(jié)合（瞧，我又泄露了自己的一個(gè)秘密研究計(jì)劃）。

最近鄰算法

　　最近鄰算法的基礎(chǔ)是找到相似物體，而在高維度情況下，相似性的概念就會(huì)無(wú)效。超空間就像過渡區(qū)域。在三維空間里的直覺不再適用，怪異離奇的事開始發(fā)生。想想一個(gè)橘子：一層薄薄的外殼包裹著好吃的果肉。比如橘子90%的半徑是果肉，剩下的10%則是果殼，這意味著橘子73%的體積是果肉（0.93）。現(xiàn)在想象一個(gè)超級(jí)橘子：90%的半徑還是果肉，但它在100個(gè)維度的空間中。那么果肉的體積已經(jīng)縮小到超級(jí)橘子體積（0.9100 ）的1/3000。這個(gè)超級(jí)橘子全都是皮，而并且你絕對(duì)無(wú)法將其剝開。

零零碎碎

　　因表達(dá)水平概括起來(lái)，變成幾條途徑。心理學(xué)家已經(jīng)發(fā)現(xiàn)，個(gè)性可以簡(jiǎn)化為5個(gè)維度（外向、隨和、盡責(zé)、神經(jīng)質(zhì)、開放性），他們可以通過你的推特文章和博客帖子來(lái)進(jìn)行推斷（黑猩猩可能還有一個(gè)維度——反應(yīng)性，但推特?cái)?shù)據(jù)對(duì)它們并不適用）。
　　為了真正了解面部，以及世界上的大部分形狀，我們需要另一樣?xùn)|西——非線性降維算法。
　　組塊算法。
　　算法概括成通用形式——所有應(yīng)用都需要知道該形式。

人類競(jìng)賽獎(jiǎng)

　　2004年，他們創(chuàng)立一年一度的“人類競(jìng)爭(zhēng)獎(jiǎng)”（Humie Awards），來(lái)認(rèn)可“人類競(jìng)賽”相關(guān)的遺傳編程創(chuàng)作。迄今為止，已經(jīng)頒發(fā)39個(gè)獎(jiǎng)項(xiàng)。

思考

　　最重要的是，機(jī)器學(xué)習(xí)的目標(biāo)是盡可能找到最好的學(xué)習(xí)算法，利用一切可能的方法，而進(jìn)化和大腦不可能提供學(xué)習(xí)算法。進(jìn)化的產(chǎn)物有很多明顯的錯(cuò)誤。例如，哺乳動(dòng)物的視覺神經(jīng)和視網(wǎng)膜前端而不是后端相連，這樣會(huì)引起不必要的（而且異乎尋常的）盲點(diǎn)，就在中心凹旁邊，而這里是視覺最敏銳的地方。活細(xì)胞的分子生物學(xué)原理非常混亂，分子生物學(xué)家常常自嘲道，只有對(duì)分子生物學(xué)一點(diǎn)也不懂的人才會(huì)相信智能設(shè)計(jì)。大腦的構(gòu)造很有可能有相似的錯(cuò)誤（大腦有許多計(jì)算機(jī)沒有的限制，比如非常有限的短期記憶），而且沒有理由待在這些限制里。另外，我們聽說(shuō)過許多這樣的情形，人類似乎堅(jiān)持做錯(cuò)誤的事情，正如丹尼爾·卡尼曼在他的書《思考，快與慢》里詳細(xì)說(shuō)明的那樣。

元學(xué)習(xí)

　　事實(shí)證明，要將許多不同的學(xué)習(xí)算法結(jié)合成一個(gè)并不難，利用的就是元學(xué)習(xí)。
　　網(wǎng)飛獎(jiǎng)獲得者利用元學(xué)習(xí)來(lái)結(jié)合數(shù)百個(gè)不同的學(xué)習(xí)算法；沃森利用它來(lái)從備選項(xiàng)中選擇最終的答案；內(nèi)特·希爾也以相似的方式將投票與預(yù)測(cè)選舉結(jié)果結(jié)合起來(lái)。 這種類型的元學(xué)習(xí)被稱為“堆疊”，是大衛(wèi)·沃爾珀特的創(chuàng)見，在第三章中我們提到過他，他是“天下沒有免費(fèi)的午餐”定理的創(chuàng)造者。
　　元學(xué)習(xí)算法是“裝袋”算法。
　　最聰明的元學(xué)習(xí)算法之一就是推進(jìn)，由兩位學(xué)習(xí)領(lǐng)域的理論家約阿夫·弗羅因德和羅伯·夏皮爾創(chuàng)造。
　　

總結(jié)

　　你已經(jīng)看到機(jī)器學(xué)習(xí)的五大學(xué)派以及它們的主算法：符號(hào)學(xué)派和逆向演繹，聯(lián)結(jié)學(xué)派和逆向傳播，進(jìn)化學(xué)派和遺傳算法，貝葉斯學(xué)派和概率推理，類推學(xué)派和支持向量機(jī)。
　　總結(jié)：學(xué)習(xí)就是你擁有的數(shù)據(jù)的數(shù)量和你所做假設(shè)數(shù)量之間的較量。

附錄

　　本書的文后包含了一些文獻(xiàn)和學(xué)習(xí)資料（英文版），有興趣可以去了解下。

視頻地址

• 作者佩德羅·多明戈斯的視頻 - 點(diǎn)擊跳轉(zhuǎn)
• 安德魯·恩格的課程 - 點(diǎn)擊跳轉(zhuǎn)
• 亞瑟·阿布·穆斯塔法的課程 - 點(diǎn)擊跳轉(zhuǎn)

開源軟件包

• Weka（www.cs.waikato.ac.nz/ml/weka）

可以作為教材的書籍

• 《Tom Mitchell的Machine Learning （McGraw–Hill, 1997）》
• 《Machine Learning: A Probabilistic Perspective》
  
  • 麻省理工出版社，2012
  • 作者：Kevin Murphy
    
    • 《An Introduction to Statistical Learning with Application in R》
    • 作者是：Gareth James、Daniela Witten、Trevor Hastie、Rob Tibshirani，Springer, 2013
• 《Machine Learning 》
• 《Journal of Machine Learning Research 》

作者的文章

• “A few useful things to know about machine learning ”（Communications of the ACM, 2012）

機(jī)器學(xué)習(xí)會(huì)議

• 機(jī)器學(xué)習(xí)國(guó)際會(huì)議
  
  • International Conference on Machine Learning
• 國(guó)際神經(jīng)信息處理大會(huì)
  
  • Conference on Neural Information Processing Systems
• 國(guó)際學(xué)術(shù)和技術(shù)開發(fā)研討會(huì)
  
  • International Conference on Knowledge Discovery and Data Mining
    　　

機(jī)器學(xué)習(xí)網(wǎng)站

• www.KDnuggets.com

總結(jié)

以上是生活随笔為你收集整理的终极算法：机器学习和人工智能如何重塑世界笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。