• 由深度學習領域三位前沿、權威的專家Ian Goodfellow、Yoshua Bengio和Aaron Courville合著的人工智能領域的圣經、長期位居美國亞馬遜人工智能類圖書榜首的《深度學習》（Deep Learning）中文版震撼上市，為國內火熱的人工智能大潮再添一把火。互聯網思想特別用一文讓你讀懂AI圣經！據說，這是一本凡研究“深度學習”都知道的一本書！讓我們領先一步，先看看吧：

• ?

青山遮不住，畢竟東流去 ——《深度學習》審校者說.......

深度學習這個術語自 2006 年被正式提出后，在最近 10 年得到了巨大發展。它使人工智能(AI)產生了革命性的突破，讓我們切實地領略到人工智能給人類生活帶來改變的潛力。2016 年 12 月，MIT出版社出版了Ian Goodfellow、Yoshua Bengio和Aaron Courville三位學者撰寫的《Deep Learning》一書。三位作者一直耕耘于機器學習領域的前沿，引領了深度學習的發展潮流，是深度學習眾多方法的主要貢獻者。該書正應其時，一經出版就風靡全球。

該書包括 3 個部分，第 1 部分介紹基本的數學工具和機器學習的概念，它們是深度學習的預備知識。第 2 部分系統深入地講解現今已成熟的深度學習方法和技術。第 3 部分討論某些具有前瞻性的方向和想法，它們被公認為是深度學習未來的研究重點。因此，該書適用于不同層次的讀者。我本人在閱讀該書時受到啟發良多，大有裨益，并采用該書作為教材在北京大學講授深度學習課程。本書脈絡圖如下所示：

脈絡圖

這是一本涵蓋深度學習技術細節的教科書，它告訴我們深度學習集技術、科學與藝術于一體，牽涉統計、優化、矩陣、算法、編程、分布式計算等多個領域。書中同時也蘊含了作者對深度學習的理解和思考，處處閃爍著深刻的思想，耐人回味。第 1 章關于深度學習的思想、歷史發展等論述尤為透徹而精辟。

作者在書中寫到：“人工智能的真正挑戰在于解決那些對人來說很容易執行、很難形式化描述的任務，比如識別人們所說的話或圖像中的臉。對于這些問題，我們人類往往可以憑直覺輕易地解決”。為了應對這些挑戰，他們提出讓計算機從經驗中學習，并根據層次化的概念體系來理解世界，而每個概念通過與某些相對簡單的概念之間的關系來定義。由此，作者給出了深度學習的定義：“層次化的概念讓計算機構建較簡單的概念來學習復雜概念。如果繪制出表示這些概念如何建立在彼此之上的一幅圖，我們將得到一張‘深’(層次很多)的圖。由此，我們稱這種方法為AI深度學習 (deep learning)”。

作者指出：“一般認為，到目前為止深度學習已經經歷了三次發展浪潮：20 世紀 40 年代 到 60 年代深度學習的雛形出現在控制論(cybernetics)中，20 世紀 80 年代到 90 年代深度學習以聯結主義(connectionism)為代表，而從 2006 年開始，以深度學習之名復興”。

談到深度學習與腦科學或者神經科學的關系，作者強調：“如今神經科學在深度學習研究中的作用被削弱，主要原因是我們根本沒有足夠的關于大腦的信息作為指導去使用它。要獲得對被大腦實際使用算法的深刻理解，我們需要有能力同時監測(至少是)數千相連神經元的活動。我們不能夠做到這一點，所以我們甚至連大腦最簡單、最深入研究的部分都還遠遠沒有理解”。值得注意的是，我國有些專家熱衷倡導人工智能與腦科學或認知學科的交叉研究，推動國家在所謂的“類腦智能”等領域投入大量資源。且不論我國是否真有同時精通人工智能和腦科學或認知心理學的學者，至少對交叉領域，我們都應該懷著務實、理性的求是態度。唯有如此，我們才有可能在這一波人工智能發展浪潮中有所作為，而不是又成為一群觀潮人。

作者進一步指出：“媒體報道經常強調深度學習與大腦的相似性。的確，深度學習研究者比其他機器學習領域(如核方法或貝葉斯統計)的研究者更可能地引用大腦作為參考，但大家不應該認為深度學習在嘗試模擬大腦。現代深度學習從許多領域獲取靈感，特別是應用數學的基本內容如線性代數、概率論、信息論和數值優化。盡管一些深度學習的研究人員引用神經科學作為重要的靈感來源，然而其他學者完全不關心神經科學”。的確，對于廣大青年學者和一線的工程師來說，我們完全可以不用因為不懂神經(或腦)科學而對深度學習、人工智能躑躅不前。數學模型、計算方法和應用驅動才是我們研究人工智能的可行之道。深度學習和人工智能不是飄懸在我們頭頂的框架，而是立足于我們腳下的技術。我們誠然可以從哲學層面或角度來欣賞科學與技術，但過度地從哲學層面來研究科學問題只會導致一些空洞的名詞。

關于人工神經網絡在 20 世紀 90 年代中期的衰落，作者分析到：“基于神經網絡和其他AI技術的創業公司開始尋求投資，其做法野心勃勃但不切實際。當AI研究不能實現這些不合理的期望時，投資者也就感到失望。同時，機器學習的其他領域取得了進步。比如，核方法和圖模型都在很多重要任務上實現了很好的效果。這兩個因素導致了神經網絡熱潮的第二次衰退，并一直持續到 2007 年”。“其興也悖焉，其亡也忽焉”。這個教訓也同樣值得當今基于深度學習的創業界、工業界和學術界等警醒。

我非常榮幸獲得人民郵電出版社王峰松先生的邀請來負責該書的中文翻譯。我是 2016 年 7 月收到王先生的邀請，但那時我正忙于找工作，無暇顧及。然而，當我和我的學生討論翻譯事宜時，他們一致認為這是一件非常有意義的事情，表達愿意來承擔。譯稿是由我的四位學生趙申劍、黎彧君、符天凡和李凱獨立完成的。申劍和天凡是二年級的碩士生，而李凱和彧君則分別是二年級和三年級的直博生。雖然他們在機器學習領域都還是新人，其知識結構還不全面，但是他們熱情高漲、勤于學習、工作專注、執行力極強。他們通過重現書中的算法代碼和閱讀相關文獻來加強理解，在不到三個月的時間就拿出了譯著的初稿，之后又經過自校對、交叉校對等環節力圖使譯著保持正確性和一致性。他們自我協調、主動攬責、相互謙讓，他們的責任心和獨立工作能力讓我倍感欣慰，因而得以從容。

由于我們無論是中文還是英文能力都深感有限，譯文恐怕還是有些生硬，我們特別擔心未能完整地傳達出原作者的真實思想和觀點。因此，我們強烈地建議有條件的讀者去閱讀英文原著，也非常期待大家繼續指正譯著，以便今后進一步修訂完善。我懇請大家多給予 4 位譯者以鼓勵。請把你們對譯著的批評留給我，這是我作為他們的導師必須要承擔的，也是我對王峰松先生的信任做出的承諾。

當初譯稿基本完成時，我們決定把它公開在GitHub上，希望通過廣大讀者的參與來完善譯稿。令人驚喜的是，有上百位熱心讀者給予了大量富有建設性的修改意見，其中有 20 多位熱心讀者直接幫助潤色校對(詳見中文版致謝名單)。可以說，這本譯著是大家共同努力的結晶。這些讀者來自一線的工程師和在校的學生，從中我領略到了他們對深度學習和機器學習領域的摯愛。更重要的是，我感受到了他們開放、合作和奉獻的精神，而這也是推動人工智能發展不可或缺的。因此，我更加堅定地認為中國人工智能發展的希望在于年輕學者，唯有他們才能讓我國人工智能學科在世界有競爭力和影響力。

江山代有人才出，各領風騷數十年！

張志華代筆

2017 年 5 月 12 日于北大靜園六院

審校者簡介

張志華，北京大學數學科學學院統計學教授，北京大數據研究院數據科學兼職教授，曾先后任教于上海交通大學和浙江大學計算機科學專業。主要從事于統計機器學習與人工智能領域的研究和教學，是國際機器學習刊物Journal of Machine Learning Research的執行編委，并多次受邀擔任國際人工智能頂級學術會議的程序委員或高級程序委員。其網絡公開課“統計機器學習”和“機器學習導論”受到廣泛關注。

先睹為快：深度學習發展與《深度學習》概覽

引言

遠在古希臘時期，發明家就夢想著創造能自主思考的機器。神話人物皮格馬利翁(Pygmalion)、代達羅斯 (Daedalus) 和赫淮斯托斯 (Hephaestus) 可以被看作傳說中的發明家，而加拉蒂亞 (Galatea)、塔洛斯 (Talos) 和潘多拉 (Pandora) 則可以被視為人造生命 (Ovid and Martin, 2004; Sparkes, 1996; Tandy, 1997)。

當人類第一次構思可編程計算機時，就已經在思考計算機能否變得智能 (盡管這距造出第一臺計算機還有一百多年)(Lovelace, 1842)。如今，人工智能 (artificial intelligence, AI) 已經成為一個具有眾多實際應用和活躍研究課題的領域，并且正在蓬勃發展。我們期望通過智能軟件自動地處理常規勞動、理解語音或圖像、幫助醫學診斷和支持基礎科學研究。

在人工智能的早期，那些對人類智力來說非常困難、但對計算機來說相對簡單的問題得到迅速解決，比如，那些可以通過一系列形式化的數學規則來描述的問題。人工智能的真正挑戰在于解決那些對人來說很容易執行、但很難形式化描述的任務，如識別人們所說的話或圖像中的臉。對于這些問題，我們人類往往可以憑借直覺輕易地解決。

針對這些比較直觀的問題，本書討論一種解決方案。該方案可以讓計算機從經驗中學習，并根據層次化的概念體系來理解世界，而每個概念則通過與某些相對簡單的概念之間的關系來定義。讓計算機從經驗獲取知識，可以避免由人類來給計算機形式化地指定它需要的所有知識。層次化的概念讓計算機構建較簡單的概念來學習復雜概念。如果繪制出表示這些概念如何建立在彼此之上的圖，我們將得到一張“深”(層次很多) 的圖。基于這個原因，我們稱這種方法為 AI 深度學習(deep learning)。

AI 許多早期的成功發生在相對樸素且形式化的環境中，而且不要求計算機具備很多關于世界的知識。例如，IBM 的深藍 (Deep Blue) 國際象棋系統在 1997 年擊敗了世界冠軍Garry Kasparov(Hsu, 2002)。顯然國際象棋是一個非常簡單的領域，因為它僅含有 64 個位置并只能以嚴格限制的方式移動 32 個棋子。設計一種成功的國際象棋策略是巨大的成就，但向計算機描述棋子及其允許的走法并不是這一挑戰的困難所在。國際象棋完全可以由一個非常簡短的、完全形式化的規則列表來描述，并可以容易地由程序員事先準備好。

具有諷刺意義的是，抽象和形式化的任務對人類而言是最困難的腦力任務之一，但對計算機而言卻屬于最容易的。計算機早就能夠打敗人類最好的國際象棋選手，但直到最近計算機才在識別對象或語音任務中達到人類平均水平。一個人的日常生活需要關于世界的巨量知識。很多這方面的知識是主觀的、直觀的，因此很難通過形式化的方式表達清楚。計算機需要獲取同樣的知識才能表現出智能。人工智能的一個關鍵挑戰就是如何將這些非形式化的知識傳達給計算機。

一些人工智能項目力求將關于世界的知識用形式化的語言進行硬編碼 (hard-code)。計算機可以使用邏輯推理規則來自動地理解這些形式化語言中的聲明。這就是眾所周知的人工智能的知識庫(knowledge base) 方法。然而，這些項目最終都沒有取得重大的成功。其中最著名的項目是 Cyc (Lenat and Guha, 1989)。Cyc 包括一個推斷引擎和一個使用 CycL 語言描述的聲明數據庫。這些聲明是由人類監督者輸入的。這是一個笨拙的過程。人們設法設計出足夠復雜的形式化規則來精確地描述世界。例如，Cyc 不能理解一個關于名為 Fred 的人在早上剃須的故事 (Linde, 1992)。它的推理引擎檢測到故事中的不一致性：它知道人體的構成不包含電氣零件，但由于 Fred 正拿著一個電動剃須刀，它認為實體——“正在剃須的 Fred”(“FredWhileShaving”) 含有電氣部件。因此，它產生了這樣的疑問——Fred 在刮胡子的時候是否仍然是一個人。

依靠硬編碼的知識體系面臨的困難表明，AI 系統需要具備自己獲取知識的能力，即從原始數據中提取模式的能力。這種能力稱為機器學習(machine learning)。引入機器學習使計算機能夠解決涉及現實世界知識的問題，并能做出看似主觀的決策。比如，一個稱為邏輯回歸 (logistic regression) 的簡單機器學習算法可以決定是否建議剖腹產 (Mor-Yosef et al., 1990)。而同樣是簡單機器學習算法的樸素貝葉斯(naive Bayes) 則可以區分垃圾電子郵件和合法電子郵件。

這些簡單的機器學習算法的性能在很大程度上依賴于給定數據的表示 (representation)。例如，當邏輯回歸用于判斷產婦是否適合剖腹產時，AI 系統不會直接檢查患者。相反，醫生需要告訴系統幾條相關的信息，諸如是否存在子宮疤痕。表示患者的每條信息稱為一個特征。邏輯回歸學習病人的這些特征如何與各種結果相關聯。然而，它絲毫不能影響該特征定義的方式。如果將病人的 MRI(核磁共振) 掃描而不是醫生正式的報告作為邏輯回歸的輸入，它將無法做出有用的預測。MRI 掃描的單一像素與分娩過程中并發癥之間的相關性微乎其微。

在整個計算機科學乃至日常生活中，對表示的依賴都是一個普遍現象。在計算機科學中，如果數據集合被精巧地結構化并被智能地索引，那么諸如搜索之類的操作的處理速度就可以成指數級地加快。人們可以很容易地在阿拉伯數字的表示下進行算術運算，但在羅馬數字的表示下，運算會比較耗時。因此，毫不奇怪，表示的選擇會對機器學習算法的性能產生巨大的影響。圖 1.1 展示了一個簡單的可視化例子。

圖 1.1 不同表示的例子：假設我們想在散點圖中畫一條線來分隔兩類數據。在左圖中，我們使用笛卡兒坐標表示數據，這個任務是不可能的。在右圖中，我們用極坐標表示數據，可以用垂直線簡單地解決這個任務 (與 David Warde-Farley 合作繪制此圖)

許多人工智能任務都可以通過以下方式解決：先提取一個合適的特征集，然后將這些特征提供給簡單的機器學習算法。例如，對于通過聲音鑒別說話者的任務來說，一個有用的特征是對其聲道大小的估計。這個特征為判斷說話者是男性、女性還是兒童提供了有力線索。

然而，對于許多任務來說，我們很難知道應該提取哪些特征。例如，假設我們想編寫一個程序來檢測照片中的車。我們知道，汽車有輪子，所以我們可能會想用車輪的存在與否作為特征。遺憾的是，我們難以準確地根據像素值來描述車輪看上去像什么。雖然車輪具有簡單的幾何形狀，但它的圖像可能會因場景而異，如落在車輪上的陰影、太陽照亮的車輪的金屬零件、汽車的擋泥板或者遮擋的車輪一部分的前景物體等。

解決這個問題的途徑之一是使用機器學習來發掘表示本身，而不僅僅把表示映射到輸出。

這種方法我們稱之為表示學習(representation learning)。學習到的表示往往比手動設計的表示表現得更好。并且它們只需最少的人工干預，就能讓AI系統迅速適應新的任務。表示學習算法只需幾分鐘就可以為簡單的任務發現一個很好的特征集，對于復雜任務則需要幾小時到幾個月。手動為一個復雜的任務設計特征需要耗費大量的人工、時間和精力，甚至需要花費整個社群研究人員幾十年的時間。

表示學習算法的典型例子是自編碼器(autoencoder)。自編碼器由一個編碼器(encoder) 函數和一個解碼器(decoder) 函數組合而成。編碼器函數將輸入數據轉換為一種不同的表示，而解碼器函數則將這個新的表示轉換回原來的形式。我們期望當輸入數據經過編碼器和解碼器之后盡可能多地保留信息，同時希望新的表示有各種好的特性，這也是自編碼器的訓練目標。為了實現不同的特性，我們可以設計不同形式的自編碼器。

當設計特征或設計用于學習特征的算法時，我們的目標通常是分離出能解釋觀察數據的變差因素(factors of variation)。在此背景下，“因素”這個詞僅指代影響的不同來源；因素通常不是乘性組合。這些因素通常是不能被直接觀察到的量。相反，它們可能是現實世界中觀察不到的物體或者不可觀測的力，但會影響可觀測的量。為了對觀察到的數據提供有用的簡化解釋或推斷其原因，它們還可能以概念的形式存在于人類的思維中。它們可以被看作數據的概念或者抽象，幫助我們了解這些數據的豐富多樣性。當分析語音記錄時，變差因素包括說話者的年齡、性別、他們的口音和他們正在說的詞語。當分析汽車的圖像時，變差因素包括汽車的位置、它的顏色、太陽的角度和亮度。

在許多現實的人工智能應用中，困難主要源于多個變差因素同時影響著我們能夠觀察到的每一個數據。比如，在一張包含紅色汽車的圖片中，其單個像素在夜間可能會非常接近黑色。汽車輪廓的形狀取決于視角。大多數應用需要我們理清變差因素并忽略我們不關心的因素。

顯然，從原始數據中提取如此高層次、抽象的特征是非常困難的。許多諸如說話口音這樣的變差因素，只能通過對數據進行復雜的、接近人類水平的理解來辨識。這幾乎與獲得原問題的表示一樣困難，因此，乍一看，表示學習似乎并不能幫助我們。

深度學習(deep learning) 通過其他較簡單的表示來表達復雜表示，解決了表示學習中的核心問題。

深度學習讓計算機通過較簡單的概念構建復雜的概念。圖 1.2 展示了深度學習系統如何通過組合較簡單的概念 (例如角和輪廓，它們反過來由邊線定義) 來表示圖像中人的概念。深度學習模型的典型例子是前饋深度網絡或或多層感知機(multilayer perceptron, MLP)。多層感知機僅僅是一個將一組輸入值映射到輸出值的數學函數。該函數由許多較簡單的函數復合而成。我們可以認為不同數學函數的每一次應用都為輸入提供了新的表示。

學習數據的正確表示的想法是解釋深度學習的一個視角。另一個視角是深度促使計算機學習一個多步驟的計算機程序。每一層表示都可以被認為是并行執行另一組指令之后計算機的存儲器狀態。更深的網絡可以按順序執行更多的指令。順序指令提供了極大的能力，因為后面的指令可以參考早期指令的結果。從這個角度上看，在某層激活函數里，并非所有信息都蘊涵著解釋輸入的變差因素。表示還存儲著狀態信息，用于幫助程序理解輸入。這里的狀態信息類似于傳統計算機程序中的計數器或指針。它與具體的輸入內容無關，但有助于模型組織其處理過程。

圖 1.2 深度學習模型的示意圖。計算機難以理解原始感觀輸入數據的含義，如表示為像素值集合的圖像。將一組像素映射到對象標識的函數非常復雜。如果直接處理，學習或評估此映射似乎是不可能的。深度學習將所需的復雜映射分解為一系列嵌套的簡單映射 (每個由模型的不同層描述) 來解決這一難題。輸入展示在可見層(visible layer)，這樣命名的原因是因為它包含我們能觀察到的變量。然后是一系列從圖像中提取越來越多抽象特征的隱藏層(hidden layer)。因為它們的值不在數據中給出，所以將這些層稱為“隱藏層”; 模型必須確定哪些概念有利于解釋觀察數據中的關系。這里的圖像是每個隱藏單元表示的特征的可視化。給定像素，第 1 層可以輕易地通過比較相鄰像素的亮度來識別邊緣。有了第 1 隱藏層描述的邊緣，第 2 隱藏層可以容易地搜索可識別為角和擴展輪廓的邊集合。給定第 2 隱藏層中關于角和輪廓的圖像描述，第 3 隱藏層可以找到輪廓和角的特定集合來檢測特定對象的整個部分。最后，根據圖像描述中包含的對象部分，可以識別圖像中存在的對象 (經 Zeiler and Fergus (2014) 許可引用此圖)

目前主要有兩種度量模型深度的方式。一種方式是基于評估架構所需執行的順序指令的數目。假設我們將模型表示為給定輸入后，計算對應輸出的流程圖，則可以將這張流程圖中的最長路徑視為模型的深度。正如兩個使用不同語言編寫的等價程序將具有不同的長度，相同的函數可以被繪制為具有不同深度的流程圖，其深度取決于我們可以用來作為一個步驟的函數。圖 1.3 說明了語言的選擇如何給相同的架構兩個不同的衡量。

圖 1.3 將輸入映射到輸出的計算圖表的示意圖，其中每個節點執行一個操作。深度是從輸入到輸出的最長路徑的長度，但這取決于可能的計算步驟的定義。這些圖中所示的計算是邏輯回歸模型的輸出，σ(wTx)，其中σ是 logistic sigmoid 函數。如果使用加法、乘法和 logistic sigmoid 作為計算機語言的元素，那么這個模型深度為 3；如果將邏輯回歸視為元素本身，那么這個模型深度為 1

另一種是在深度概率模型中使用的方法，它不是將計算圖的深度視為模型深度，而是將描述概念彼此如何關聯的圖的深度視為模型深度。在這種情況下，計算每個概念表示的計算流程圖的深度可能比概念本身的圖更深。這是因為系統對較簡單概念的理解在給出更復雜概念的信息后可以進一步精細化。例如，一個 AI 系統觀察其中一只眼睛在陰影中的臉部圖像時，它最初可能只看到一只眼睛。但當檢測到臉部的存在后，系統可以推斷第二只眼睛也可能是存在的。在這種情況下，概念的圖僅包括兩層 (關于眼睛的層和關于臉的層)，但如果我們細化每個概念的估計將需要額外的 n 次計算，那么計算的圖將包含 2n 層。

由于并不總是清楚計算圖的深度和概率模型圖的深度哪一個是最有意義的，并且由于不同的人選擇不同的最小元素集來構建相應的圖，所以就像計算機程序的長度不存在單一的正確值一樣，架構的深度也不存在單一的正確值。另外，也不存在模型多么深才能被修飾為“深” 的共識。但相比傳統機器學習，深度學習研究的模型涉及更多學到功能或學到概念的組合，這點毋庸置疑。

總之，這本書的主題 —— 深度學習是通向人工智能的途徑之一。具體來說，它是機器學習的一種，一種能夠使計算機系統從經驗和數據中得到提高的技術。我們堅信機器學習可以構建出在復雜實際環境下運行的 AI 系統，并且是唯一切實可行的方法。深度學習是一種特定類型的機器學習，具有強大的能力和靈活性，它將大千世界表示為嵌套的層次概念體系 (由較簡單概念間的聯系定義復雜概念、從一般抽象概括到高級抽象表示)。圖 1.4 說明了這些不同的 AI 學科之間的關系。圖 1.5 展示了每個學科如何工作的高層次原理。

圖 1.4 維恩圖展示了深度學習既是一種表示學習，也是一種機器學習，可以用于許多 (但不是全部)AI 方法。維恩圖的每個部分包括一個 AI 技術的實例

圖 1.5 流程圖展示了 AI 系統的不同部分如何在不同的 AI 學科中彼此相關。陰影框表示能從數據中學習的組件

1.1 本書面向的讀者

本書對各類讀者都有一定的用處，但主要是為兩類受眾而寫的。其中，一類受眾是學習機器學習的大學生 (本科或研究生)，包括那些已經開始職業生涯的深度學習和人工智能研究者。另一類受眾是沒有機器學習或統計背景，但希望能快速地掌握這方面知識，并在他們的產品或平臺中使用深度學習的軟件工程師。現已證明，深度學習在許多軟件領域都是有用的，包括計算機視覺、語音和音頻處理、自然語言處理、機器人技術、生物信息學和化學、電子游戲、搜索引擎、網絡廣告和金融。

為了更好地服務各類讀者，我們將本書組織為 3 個部分。第 1 部分介紹基本的數學工具和機器學習的概念。第 2 部分介紹最成熟的深度學習算法，這些技術基本上已經得到解決。第 3 部分討論某些具有展望性的想法，它們被廣泛地認為是深度學習未來的研究重點。

讀者可以隨意跳過不感興趣或與自己背景不相關的部分。熟悉線性代數、概率和基本機器學習概念的讀者可以跳過第 1 部分。若讀者只是想實現一個能工作的系統，則不需要閱讀超出第 2 部分的內容。為了幫助讀者選擇章節，圖 1.6 給出了本書高層組織結構的流程圖。

圖 1.6 本書的高層組織結構的流程圖。從一章到另一章的箭頭表示前一章是理解后一章的必備內容

我們假設所有讀者都具備計算機科學背景。也假設讀者熟悉編程，并且對計算的性能問題、復雜性理論、入門級微積分和一些圖論術語有基本的了解。

《深度學習》英文版配套網站是 www.deeplearningbook.org。網站上提供了各種補充材料，包括練習、講義幻燈片、錯誤更正以及其他應該對讀者和講師有用的資源。

《深度學習》中文版的讀者，可訪問人民郵電出版社異步社區網站 www.epubit.com.cn，獲取更多圖書信息。

1.2 深度學習的歷史趨勢

通過歷史背景了解深度學習是最簡單的方式。這里我們僅指出深度學習的幾個關鍵趨勢，而不是提供其詳細的歷史：

• 深度學習有著悠久而豐富的歷史，但隨著許多不同哲學觀點的漸漸消逝，與之對應的名稱也漸漸塵封。

• 隨著可用的訓練數據量不斷增加，深度學習變得更加有用。

• 隨著時間的推移，針對深度學習的計算機軟硬件基礎設施都有所改善，深度學習模型的規模也隨之增長。

• 隨著時間的推移，深度學習已經解決日益復雜的應用，并且精度不斷提高。

1.2.1 神經網絡的眾多名稱和命運變遷

我們期待這本書的許多讀者都聽說過深度學習這一激動人心的新技術，并對一本書提及一個新興領域的“歷史”而感到驚訝。事實上，深度學習的歷史可以追溯到 20 世紀 40 年代。深度學習看似是一個全新的領域，只不過因為在目前流行的前幾年它還是相對冷門的，同時也因為它被賦予了許多不同的名稱 (其中大部分已經不再使用)，最近才成為眾所周知的“深度學習”。這個領域已經更換了很多名稱，它反映了不同的研究人員和不同觀點的影響。

全面地講述深度學習的歷史超出了本書的范圍。然而，一些基本的背景對理解深度學習是有用的。一般認為，迄今為止深度學習已經經歷了 3 次發展浪潮：20 世紀 40 年代到 60 年代，深度學習的雛形出現在控制論(cybernetics) 中；20 世紀 80 年代到 90 年代，深度學習表現為聯結主義(connectionism)；直到 2006 年，才真正以深度學習之名復興。圖 1.7 給出了定量的展示。

我們今天知道的一些最早的學習算法，旨在模擬生物學習的計算模型，即大腦怎樣學習或為什么能學習的模型。其結果是深度學習以人工神經網絡(artificial neural network, ANN) 之名而淡去。彼時，深度學習模型被認為是受生物大腦 (無論人類大腦或其他動物的大腦) 所啟發而設計出來的系統。盡管有些機器學習的神經網絡有時被用來理解大腦功能 (Hinton and Shallice, 1991)，但它們一般都沒有設計成生物功能的真實模型。深度學習的神經觀點受兩個主要思想啟發：一個想法是，大腦作為例子證明智能行為是可能的，因此，概念上，建立智能的直接途徑是逆向大腦背后的計算原理，并復制其功能；另一種看法是，理解大腦和人類智能背后的原理也非常有趣，因此機器學習模型除了解決工程應用的能力，如果能讓人類對這些基本的科學問題有進一步的認識，也將會很有用。

圖 1.7 根據 Google 圖書中短語“控制論”“聯結主義”或“神經網絡”頻率衡量的人工神經網絡研究的歷史浪潮 ( 圖中展示了 3 次浪潮的前兩次，第 3 次最近才出現)。第 1 次浪潮開始于 20 世紀 40 年代到 20 世紀 60 年代的控制論，隨著生物學習理論的發展 (McCulloch and Pitts, 1943; Hebb, 1949) 和第一個模型的實現 (如感知機 (Rosenblatt, 1958))，能實現單個神經元的訓練。第 2 次浪潮開始于 1980—1995 年間的聯結主義方法，可以使用反向傳播 (Rumelhart et al., 1986a) 訓練具有一兩個隱藏層的神經網絡。當前第 3 次浪潮，也就是深度學習，大約始于 2006 年 (Hinton et al., 2006a; Bengio et al., 2007a; Ranzato et al., 2007a)，并且于 2016 年以圖書的形式出現。另外，前兩次浪潮類似地出現在書中的時間比相應的科學活動晚得多。

現代術語“深度學習”超越了目前機器學習模型的神經科學觀點。它訴諸于學習多層次組合這一更普遍的原理，這一原理也可以應用于那些并非受神經科學啟發的機器學習框架。

現代深度學習最早的前身是從神經科學的角度出發的簡單線性模型。這些模型設計為使用一組 n 個輸入 x1,··· ,xn，并將它們與一個輸出 y 相關聯。這些模型希望學習一組權重 w1,··· ,wn，并計算它們的輸出 f(x,w) = x1w1 + ··· + xnwn。如圖 1.7 所示，第一次神經網絡研究浪潮稱為控制論。

McCulloch-Pitts 神經元 (McCulloch and Pitts, 1943) 是腦功能的早期模型。該線性模型通過檢驗函數 f(x,w) 的正負來識別兩種不同類別的輸入。顯然，模型的權重需要正確設置后才能使模型的輸出對應于期望的類別。這些權重可以由操作人員設定。20 世紀 50 年代，感知機 (Rosenblatt, 1956, 1958) 成為第一個能根據每個類別的輸入樣本來學習權重的模型。大約在同一時期，自適應線性單元(adaptive linear element, ADALINE) 簡單地返回函數f(x)本身的值來預測一個實數 (Widrow and Hoff, 1960)，并且它還可以學習從數據預測這些數。

這些簡單的學習算法大大影響了機器學習的現代景象。用于調節 ADALINE 權重的訓練算法是被稱為隨機梯度下降(stochastic gradient descent) 的一種特例。稍加改進后的隨機梯度下降算法仍然是當今深度學習的主要訓練算法。

基于感知機和 ADALINE 中使用的函數 f(x,w) 的模型稱為線性模型(linear model)。盡管在許多情況下，這些模型以不同于原始模型的方式進行訓練，但仍是目前最廣泛使用的機器學習模型。

線性模型有很多局限性。最著名的是，它們無法學習異或 (XOR) 函數，即 f([0,1],w) = 1 和 f([1,0],w) = 1，但 f([1,1],w) = 0 和 f([0,0],w) = 0。觀察到線性模型這個缺陷的批評者對受生物學啟發的學習普遍地產生了抵觸 (Minsky and Papert, 1969)。這導致了神經網絡熱潮的第一次大衰退。

現在，神經科學被視為深度學習研究的一個重要靈感來源，但它已不再是該領域的主要指導。

如今神經科學在深度學習研究中的作用被削弱，主要原因是我們根本沒有足夠的關于大腦的信息來作為指導去使用它。要獲得對被大腦實際使用算法的深刻理解，我們需要有能力同時監測 (至少是) 數千相連神經元的活動。我們不能夠做到這一點，所以我們甚至連大腦最簡單、最深入研究的部分都還遠遠沒有理解 (Olshausen and Field, 2005)。

神經科學已經給了我們依靠單一深度學習算法解決許多不同任務的理由。神經學家們發現，如果將雪貂的大腦重新連接，使視覺信號傳送到聽覺區域，它們可以學會用大腦的聽覺處理區域去“看”(Von Melchner et al., 2000)。這暗示著大多數哺乳動物的大腦使用單一的算法就可以解決其大腦可以解決的大部分不同任務。在這個假設之前，機器學習研究是比較分散的，研究人員在不同的社群研究自然語言處理、計算機視覺、運動規劃和語音識別。如今，這些應用社群仍然是獨立的，但是對于深度學習研究團體來說，同時研究許多甚至所有這些應用領域是很常見的。

我們能夠從神經科學得到一些粗略的指南。僅通過計算單元之間的相互作用而變得智能的基本思想是受大腦啟發的。新認知機 (Fukushima, 1980) 受哺乳動物視覺系統的結構啟發，引入了一個處理圖片的強大模型架構，它后來成為了現代卷積網絡的基礎 (LeCun et al., 1998c)(參見第 9.10 節)。目前大多數神經網絡是基于一個稱為整流線性單元(rectified linear unit) 的神經單元模型。原始認知機 (Fukushima, 1975) 受我們關于大腦功能知識的啟發，引入了一個更復雜的版本。簡化的現代版通過吸收來自不同觀點的思想而形成，Nair and Hinton (2010b) 和 Glorot et al.(2011a) 援引神經科學作為影響，Jarrett et al. (2009a) 援引更多面向工程的影響。雖然神經科學是靈感的重要來源，但它不需要被視為剛性指導。我們知道，真實的神經元計算著與現代整流線性單元非常不同的函數，但更接近真實神經網絡的系統并沒有導致機器學習性能的提升。此外，雖然神經科學已經成功地啟發了一些神經網絡架構，但我們對用于神經科學的生物學習還沒有足夠多的了解，因此也就不能為訓練這些架構用的學習算法提供太多的借鑒。

媒體報道經常強調深度學習與大腦的相似性。的確，深度學習研究者比其他機器學習領域 (如核方法或貝葉斯統計) 的研究者更可能地引用大腦作為影響，但是大家不應該認為深度學習在嘗試模擬大腦。現代深度學習從許多領域獲取靈感，特別是應用數學的基本內容，如線性代數、概率論、信息論和數值優化。盡管一些深度學習的研究人員引用神經科學作為靈感的重要來源，然而其他學者完全不關心神經科學。

值得注意的是，了解大腦是如何在算法層面上工作的嘗試確實存在且發展良好。這項嘗試主要被稱為“計算神經科學”，并且是獨立于深度學習的領域。研究人員在兩個領域之間來回研究是很常見的。深度學習領域主要關注如何構建計算機系統，從而成功解決需要智能才能解決的任務，而計算神經科學領域主要關注構建大腦如何真實工作的、比較精確的模型。

20 世紀 80 年代，神經網絡研究的第二次浪潮在很大程度上是伴隨一個被稱為聯結主義(connectionism) 或并行分布處理( parallel distributed processing) 潮流而出現的 (Rumelhart et al.,1986d; McClelland et al., 1995)。聯結主義是在認知科學的背景下出現的。認知科學是理解思維的跨學科途徑，即它融合多個不同的分析層次。20 世紀 80 年代初期，大多數認知科學家研究符號推理模型。盡管這很流行，但符號模型很難解釋大腦如何真正使用神經元實現推理功能。

聯結主義者開始研究真正基于神經系統實現的認知模型 (Touretzky and Minton, 1985)，其中很多復蘇的想法可以追溯到心理學家 Donald Hebb 在 20 世紀 40 年代的工作 (Hebb, 1949)。

聯結主義的中心思想是，當網絡將大量簡單的計算單元連接在一起時可以實現智能行為。這種見解同樣適用于生物神經系統中的神經元，因為它和計算模型中隱藏單元起著類似的作用。

在 20 世紀 80 年代的聯結主義期間形成的幾個關鍵概念在今天的深度學習中仍然是非常重要的。

其中一個概念是分布式表示(distributed representation)(Hinton et al., 1986)。其思想是：系統的每一個輸入都應該由多個特征表示，并且每一個特征都應該參與到多個可能輸入的表示。例如，假設我們有一個能夠識別紅色、綠色或藍色的汽車、卡車和鳥類的視覺系統，表示這些輸入的其中一個方法是將 9 個可能的組合：紅卡車、紅汽車、紅鳥、綠卡車等使用單獨的神經元或隱藏單元激活。這需要 9 個不同的神經元，并且每個神經必須獨立地學習顏色和對象身份的概念。改善這種情況的方法之一是使用分布式表示，即用 3 個神經元描述顏色，3 個神經元描述對象身份。這僅僅需要 6 個神經元而不是 9 個，并且描述紅色的神經元能夠從汽車、卡車和鳥類的圖像中學習紅色，而不僅僅是從一個特定類別的圖像中學習。分布式表示的概念是本書的核心，我們將在第 15 章中更加詳細地描述。

聯結主義潮流的另一個重要成就是反向傳播在訓練具有內部表示的深度神經網絡中的成功使用以及反向傳播算法的普及 (Rumelhart et al., 1986c; LeCun, 1987)。這個算法雖然曾黯然失色且不再流行，但截至寫書之時，它仍是訓練深度模型的主導方法。

20 世紀 90 年代，研究人員在使用神經網絡進行序列建模的方面取得了重要進展。Hochreiter (1991b) 和 Bengio et al. (1994b) 指出了對長序列進行建模的一些根本性數學難題，這將在第 10.7 節中描述。Hochreiter 和 Schmidhuber(1997) 引入長短期記憶(long shortterm memory, LSTM) 網絡來解決這些難題。如今，LSTM 在許多序列建模任務中廣泛應用，包括 Google 的許多自然語言處理任務。

神經網絡研究的第二次浪潮一直持續到 20 世紀 90 年代中期。基于神經網絡和其他AI技術的創業公司開始尋求投資，其做法野心勃勃但不切實際。當AI研究不能實現這些不合理的期望時，投資者感到失望。同時，機器學習的其他領域取得了進步。比如，核方法 (Boser et al., 1992; Cortes and Vapnik, 1995; Sch¨olkopf et al., 1999) 和圖模型 (Jordan, 1998) 都在很多重要任務上實現了很好的效果。這兩個因素導致了神經網絡熱潮的第二次衰退，并一直持續到 2007 年。

在此期間，神經網絡繼續在某些任務上獲得令人印象深刻的表現 (LeCun et al., 1998c; Bengio et al., 2001a)。加拿大高級研究所 (CIFAR) 通過其神經計算和自適應感知 (NCAP) 研究計劃幫助維持神經網絡研究。該計劃聯合了分別由 Geoffrey Hinton、Yoshua Bengio和 Yann LeCun 領導的多倫多大學、蒙特利爾大學和紐約大學的機器學習研究小組。這個多學科的 CIFAR NCAP 研究計劃還包括了神經科學家、人類和計算機視覺專家。

在那個時候，人們普遍認為深度網絡是難以訓練的。現在我們知道，20 世紀 80 年代就存在的算法能工作得非常好，但是直到 2006 年前后都沒有體現出來。這可能僅僅由于其計算代價太高，而以當時可用的硬件難以進行足夠的實驗。

神經網絡研究的第三次浪潮始于 2006 年的突破。Geoffrey Hinton 表明名為“深度信念網絡”的神經網絡可以使用一種稱為“貪婪逐層預訓練”的策略來有效地訓練 (Hinton et al., 2006a)，我們將在第 15.1 節中更詳細地描述。其他 CIFAR 附屬研究小組很快表明，同樣的策略可以被用來訓練許多其他類型的深度網絡 (Bengio and LeCun, 2007a; Ranzato et al., 2007b)，并能系統地幫助提高在測試樣例上的泛化能力。神經網絡研究的這一次浪潮普及了“深度學習”這一術語，強調研究者現在有能力訓練以前不可能訓練的比較深的神經網絡，并著力于深度的理論重要性上 (Bengio and LeCun, 2007b; Delalleau and Bengio, 2011; Pascanu et al., 2014a; Montufar et al., 2014)。此時，深度神經網絡已經優于與之競爭的基于其他機器學習技術以及手工設計功能的 AI 系統。在寫這本書的時候，神經網絡的第三次發展浪潮仍在繼續，盡管深度學習的研究重點在這一段時間內發生了巨大變化。第三次浪潮已開始著眼于新的無監督學習技術和深度模型在小數據集的泛化能力，但目前更多的興趣點仍是比較傳統的監督學習算法和深度模型充分利用大型標注數據集的能力。

1.2.2 與日俱增的數據量

人們可能想問，既然人工神經網絡的第一個實驗在 20 世紀 50 年代就完成了，但為什么深度學習直到最近才被認為是關鍵技術？自 20 世紀 90 年代以來，深度學習就已經成功用于商業應用，但通常被視為一種只有專家才可以使用的藝術而不是一種技術，這種觀點一直持續到最近。確實，要從一個深度學習算法獲得良好的性能需要一些技巧。幸運的是，隨著訓練數據的增加，所需的技巧正在減少。目前在復雜的任務中達到人類水平的學習算法，與 20 世紀 80 年代努力解決玩具問題 (toy problem) 的學習算法幾乎是一樣的，盡管我們使用這些算法訓練的模型經歷了變革，即簡化了極深架構的訓練。最重要的新進展是，現在我們有了這些算法得以成功訓練所需的資源。圖 1.8 展示了基準數據集的大小如何隨著時間的推移而顯著增加。

圖 1.8 與日俱增的數據量。20 世紀初，統計學家使用數百或數千的手動制作的度量來研究數據集 (Garson, 1900; Gosset, 1908; Anderson, 1935; Fisher, 1936)。20 世紀 50 年代到 80 年代，受生物啟發的機器學習開拓者通常使用小的合成數據集，如低分辨率的字母位圖，設計為在低計算成本下表明神經網絡能夠學習特定功能 (Widrow and Hoff, 1960; Rumelhart et al., 1986b)。20 世紀 80 年代和 90 年代，機器學習變得更偏統計，并開始利用包含成千上萬個樣本的更大數據集，如手寫掃描數字的 MNIST 數據集 (如圖 1.9 所示)(LeCun et al., 1998c)。在 21 世紀的第一個 10 年里，相同大小更復雜的數據集持續出現，如 CIFAR-10 數據集 (Krizhevsky and Hinton, 2009)。在這 10 年結束和接下來的 5 年，明顯更大的數據集 (包含數萬到數千萬的樣例) 完全改變了深度學習可能實現的事。這些數據集包括公共 Street View House Numbers 數據集 (Netzer et al., 2011)、各種版本的 ImageNet 數據集 (Deng et al., 2009, 2010a; Russakovsky et al., 2014a) 以及 Sports-1M 數據集 (Karpathy et al., 2014)。在圖頂部，我們看到翻譯句子的數據集通常遠大于其他數據集，如根據 Canadian Hansard 制作的 IBM 數據集 (Brown et al., 1990) 和 WMT 2014 英法數據集 (Schwenk, 2014)

這種趨勢是由社會日益數字化驅動的。由于我們的活動越來越多地發生在計算機上，我們做什么也越來越多地被記錄。由于計算機越來越多地聯網在一起，這些記錄變得更容易集中管理，并更容易將它們整理成適于機器學習應用的數據集。因為統計估計的主要負擔 (觀察少量數據以在新數據上泛化) 已經減輕，“大數據”時代使機器學習更加容易。截至 2016 年，一個粗略的經驗法則是，監督深度學習算法在每類給定約 5000 個標注樣本情況下一般將達到可以接受的性能，當至少有 1000 萬個標注樣本的數據集用于訓練時，它將達到或超過人類表現。此外，在更小的數據集上獲得成功是一個重要的研究領域，為此我們應特別側重于如何通過無監督或半監督學習充分利用大量的未標注樣本。

圖 1.9 MNIST 數據集的輸入樣例。“NIST”代表國家標準和技術研究所 (National Institute of Standards and Technology)，是最初收集這些數據的機構。“M”代表“修改的 (Modified)”，為更容易地與機器學習算法一起使用，數據已經過預處理。MNIST 數據集包括手寫數字的掃描和相關標簽 (描述每個圖像中包含 0～9 中哪個數字)。這個簡單的分類問題是深度學習研究中最簡單和最廣泛使用的測試之一。盡管現代技術很容易解決這個問題，它仍然很受歡迎。Geoffrey Hinton 將其描述為“機器學習的果蠅”，這意味著機器學習研究人員可以在受控的實驗室條件下研究他們的算法，就像生物學家經常研究果蠅一樣

1.2.3 與日俱增的模型規模

20 世紀 80 年代，神經網絡只能取得相對較小的成功，而現在神經網絡非常成功的另一個重要原因是我們現在擁有的計算資源可以運行更大的模型。聯結主義的主要見解之一是，當動物的許多神經元一起工作時會變得聰明。單獨神經元或小集合的神經元不是特別有用。

生物神經元不是特別稠密地連接在一起。如圖 1.10 所示，幾十年來，我們的機器學習模型中每個神經元的連接數量已經與哺乳動物的大腦在同一數量級上。

圖 1.10 與日俱增的每個神經元的連接數。最初，人工神經網絡中神經元之間的連接數受限于硬件能力。而現在，神經元之間的連接數大多是出于設計考慮。一些人工神經網絡中每個神經元的連接數與貓一樣多，并且對于其他神經網絡來說，每個神經元的連接數與較小哺乳動物 (如小鼠) 一樣多，這種情況是非常普遍的。甚至人類大腦每個神經元的連接數也沒有過高的數量。生物神經網絡規模來自 Wikipedia (2015)

1. 自適應線性單元 (Widrow and Hoff, 1960)；2. 神經認知機 (Fukushima, 1980)；3. GPU- 加速卷積網絡 (Chellapilla et al., 2006)；4. 深度玻爾茲曼機 (Salakhutdinov and Hinton, 2009a)；5. 無監督卷積網絡 (Jarrett et al., 2009b)；6. GPU- 加速多層感知機 (Ciresan et al., 2010)；7. 分布式自編碼器 (Le et al., 2012)；8. Multi-GPU 卷積網絡

(Krizhevsky et al., 2012a)；9. COTS HPC 無監督卷積網絡 (Coates et al., 2013)；10. GoogLeNet (Szegedy et al., 2014a)

如圖 1.11 所示，就神經元的總數目而言，直到最近神經網絡都是驚人的小。自從隱藏單元引入以來，人工神經網絡的規模大約每 2.4 年擴大一倍。這種增長是由更大內存、更快的計算機和更大的可用數據集驅動的。更大的網絡能夠在更復雜的任務中實現更高的精度。這種趨勢看起來將持續數十年。除非有能力迅速擴展新技術，否則至少要到 21 世紀 50 年代，人工神經網絡才能具備與人腦相同數量級的神經元。生物神經元表示的功能可能比目前的人工神經元所表示的更復雜，因此生物神經網絡可能比圖中描繪的甚至要更大。

圖 1.11 與日俱增的神經網絡規模。自從引入隱藏單元，人工神經網絡的規模大約每 2.4 年翻一倍。生物神經網絡規模來自 Wikipedia (2015)

1. 感知機 (Rosenblatt, 1958, 1962)；2. 自適應線性單元 (Widrow and Hoff, 1960)；3. 神經認知機 (Fukushima, 1980)；4. 早期后向傳播網絡 (Rumelhart et al., 1986b)；5. 用于語音識別的循環神經網絡 (Robinson and Fallside, 1991)；6. 用于語音識別的多層感知機 (Bengio et al., 1991)；7. 均勻場 sigmoid 信念網絡 (Saul et al., 1996)；8. LeNet5 (LeCun et al., 1998c)；9. 回聲狀態網絡 (Jaeger and Haas, 2004)；10. 深度信念網絡 (Hinton et al., 2006a)；11. GPU- 加速卷積網絡 (Chellapilla et al., 2006)；12. 深度玻爾茲曼機 (Salakhutdinov and Hinton, 2009a)；13. GPU加速深度信念網絡 (Raina et al., 2009a)；14. 無監督卷積網絡 (Jarrett et al., 2009b)；15. GPU- 加速多層感知機 (Ciresan et al., 2010)；16. OMP-1 網絡 (Coates and Ng, 2011)；17. 分布式自編碼器 (Le et al., 2012)；18. MultiGPU 卷積網絡 (Krizhevsky et al., 2012a)；19. COTS HPC 無監督卷積網絡 (Coates et al., 2013)；20. GoogLeNet (Szegedy et al., 2014a)

現在看來，神經元數量比一個水蛭還少的神經網絡不能解決復雜的人工智能問題，這是不足為奇的。即使現在的網絡，從計算系統角度來看它可能相當大，但實際上它比相對原始的脊椎動物 (如青蛙) 的神經系統還要小。

由于更快的 CPU、通用 GPU 的出現 (在第 12.1.2 節中討論)、更快的網絡連接和更好的分布式計算的軟件基礎設施，模型規模隨著時間的推移不斷增加是深度學習歷史中最重要的趨勢之一。人們普遍預計這種趨勢將很好地持續到未來。

1.2.4 與日俱增的精度、復雜度和對現實世界的沖擊

20 世紀 80 年代以來，深度學習提供精確識別和預測的能力一直在提高。而且，深度學習持續成功地應用于越來越廣泛的實際問題中。

最早的深度模型被用來識別裁剪緊湊且非常小的圖像中的單個對象 (Rumelhart et al., 1986d)。此后，神經網絡可以處理的圖像尺寸逐漸增加。現代對象識別網絡能處理豐富的高分辨率照片，并且不需要在被識別的對象附近進行裁剪 (Krizhevsky et al., 2012b)。類似地，最早的網絡只能識別兩種對象 (或在某些情況下，單類對象的存在與否)，而這些現代網絡通常能夠識別至少1000個不同類別的對象。對象識別中最大的比賽是每年舉行的 ImageNet 大型視覺識別挑戰 (ILSVRC)。深度學習迅速崛起的激動人心的一幕是卷積網絡第一次大幅贏得這一挑戰，它將最高水準的前 5 錯誤率從 26.1% 降到 15.3% (Krizhevsky et al., 2012b)，這意味著該卷積網絡針對每個圖像的可能類別生成一個順序列表，除了 15.3% 的測試樣本，其他測試樣本的正確類標都出現在此列表中的前 5 項里。此后，深度卷積網絡連續地贏得這些比賽，截至寫作本書時，深度學習的最新結果將這個比賽中的前 5 錯誤率降到了 3.6%，如圖 1.12 所示。

圖 1.12 日益降低的錯誤率。由于深度網絡達到了在 ImageNet 大規模視覺識別挑戰中競爭所必需的規模，它們每年都能贏得勝利，并且產生越來越低的錯誤率。數據來源于 Russakovsky et al. (2014b) 和 He et al. (2015)

深度學習也對語音識別產生了巨大影響。語音識別在 20 世紀 90 年代得到提高后，直到約 2000 年都停滯不前。深度學習的引入 (Dahl et al., 2010; Deng et al., 2010b; Seide et al., 2011; Hinton et al., 2012a) 使得語音識別錯誤率陡然下降，有些錯誤率甚至降低了一半。我們將在第 12.3 節更詳細地探討這個歷史。

深度網絡在行人檢測和圖像分割中也取得了引人注目的成功 (Sermanet et al., 2013; Farabet et al., 2013; Couprie et al., 2013)，并且在交通標志分類上取得了超越人類的表現 (Ciresan et al., 2012)。

在深度網絡的規模和精度有所提高的同時，它們可以解決的任務也日益復雜。Goodfellow et al. (2014d) 表明，神經網絡可以學習輸出描述圖像的整個字符序列，而不是僅僅識別單個對象。此前，人們普遍認為，這種學習需要對序列中的單個元素進行標注 (Gulcehre and Bengio, 2013)。循環神經網絡，如之前提到的 LSTM 序列模型，現在用于對序列和其他序列之間的關系進行建模，而不是僅僅固定輸入之間的關系。這種序列到序列的學習似乎引領著另一個應用的顛覆性發展，即機器翻譯 (Sutskever et al., 2014; Bahdanau et al., 2015)。

這種復雜性日益增加的趨勢已將其推向邏輯結論，即神經圖靈機 (Graves et al., 2014) 的引入，它能學習讀取存儲單元和向存儲單元寫入任意內容。這樣的神經網絡可以從期望行為的樣本中學習簡單的程序。例如，從雜亂和排好序的樣本中學習對一系列數進行排序。這種自我編程技術正處于起步階段，但原則上未來可以適用于幾乎所有的任務。

深度學習的另一個最大的成就是其在強化學習(reinforcement learning) 領域的擴展。在強化學習中，一個自主的智能體必須在沒有人類操作者指導的情況下，通過試錯來學習執行任務。DeepMind 表明，基于深度學習的強化學習系統能夠學會玩 Atari 視頻游戲，并在多種任務中可與人類匹敵 (Mnih et al., 2015)。深度學習也顯著改善了機器人強化學習的性能 (Finn et al., 2015)。

許多深度學習應用都是高利潤的。現在深度學習被許多頂級的技術公司使用，包括 Google、Microsoft、Facebook、IBM、Baidu、Apple、Adobe、Netflix、NVIDIA 和 NEC 等。

深度學習的進步也嚴重依賴于軟件基礎架構的進展。軟件庫如 Theano (Bergstra et al., 2010a; Bastien et al., 2012a)、PyLearn2 (Goodfellow et al., 2013e)、Torch (Collobert et al., 2011b)、DistBelief (Dean et al., 2012)、Caffe (Jia, 2013)、MXNet (Chen et al., 2015) 和 TensorFlow (Abadi et al., 2015) 都能支持重要的研究項目或商業產品。

深度學習也為其他科學做出了貢獻。用于對象識別的現代卷積網絡為神經科學家們提供了可以研究的視覺處理模型 (DiCarlo, 2013)。深度學習也為處理海量數據以及在科學領域做出有效的預測提供了非常有用的工具。它已成功地用于預測分子如何相互作用、從而幫助制藥公司設計新的藥物 (Dahl et al., 2014)，搜索亞原子粒子 (Baldi et al., 2014)，以及自動解析用于構建人腦三維圖的顯微鏡圖像 (Knowles-Barley et al., 2014) 等多個場合。我們期待深度學習未來能夠出現在越來越多的科學領域中。

總之，深度學習是機器學習的一種方法。在過去幾十年的發展中，它大量借鑒了我們關于人腦、統計學和應用數學的知識。近年來，得益于更強大的計算機、更大的數據集和能夠訓練更深網絡的技術，深度學習的普及性和實用性都有了極大的發展。未來幾年，深度學習更是充滿了進一步提高并應用到新領域的挑戰和機遇。

《深度學習》中文版 新書首發

作者：【美】Ian Goodfellow（伊恩·古德費洛） ,

【加】Yoshua Bengio（約書亞·本吉奧） ,

【加】Aaron Courville（亞倫·庫維爾）

AI圣經！深度學習領域奠基性的經典暢銷書！

長期位居美國亞馬遜AI和機器學習類圖書榜首！

所有數據科學家和機器學習從業者的必讀圖書！

特斯拉CEO埃隆·馬斯克等國內外眾多專家推薦！

ISBN：9787115461476

定價：168元

★“花書”《深度學習》AI圣經！

★全球知名專家Ian Goodfellow、Yoshua Bengio和Aaron Courville撰寫。

★美亞人工智能和機器學習領域排名第一的經典暢銷書。

★深度學習領域奠基性的圖書產品！

★全彩印刷。

內容簡介

《深度學習》由全球知名的三位專家Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰寫，是深度學習領域奠基性的經典教材。全書的內容包括 3 個部分：第 1 部分介紹基本的數學工具和機器學習的概念，它們是深度學習的預備知識；第 2 部分系統深入地講解現今已成熟的深度學習方法和技術；第 3 部分討論某些具有前瞻性的方向和想法，它們被公認為是深度學習未來的研究重點。

深度學習也被《麻省理工科技評論》評為2013年十大突破技術。

· 作者權威

本書英文原版的三位作者Ian Goodfellow、Yoshua Bengio和Aaron Courville是深度學習領域的頂級專家，他們恰好是老、中、青三代專家的結合。

Yoshua Bengio是深度學習領域的奠基人；Ian Goodfellow以提出GAN（生成式對抗網絡）而聞名，是深度學習領域近年涌現的新星；而Aaron Courville則是處于研究生涯中期的領域中堅。所以，本書的行文和結構很好地考慮到了處于研究生涯各個不同階段的學生和研究人員的需求，是一本非常好的關于深度學習的教科書。

值此中文版圖書發布之際，人民郵電出版社信息技術第一分社特別邀請了3位作者給中國讀者發來了祝賀視頻：

?

Ian Goodfellow，谷歌公司的研究科學家，2014年蒙特利爾大學機器學習博士。他的研究興趣涵蓋大多數深度學習主題，特別是生成模型以及機器學習的安全和隱私。Ian Goodfellow在研究對抗樣本方面是一位有影響力的早期研究者，他發明了生成式對抗網絡，在深度學習領域貢獻卓越。

Yoshua Bengio，蒙特利爾大學計算機科學與運籌學系(DIRO)的教授，蒙特利爾學習算法研究所(MILA)的負責人，CIFAR項目的共同負責人，加拿大統計學習算法研究主席。Yoshua Bengio的主要研究目標是了解產生智力的學習原則。他還教授“機器學習”研究生課程(IFT6266)，并培養了一大批研究生和博士后。

Aaron Courville，蒙特利爾大學計算機科學與運籌學系的助理教授，也是LISA實驗室的成員。目前他的研究興趣集中在發展深度學習模型和方法，特別是開發概率模型和新穎的推斷方法。Aaron Courville主要專注于計算機視覺應用，在其他領域，如自然語言處理、音頻信號處理、語音理解和其他AI相關任務方面也有所研究。

彩蛋：《深度學習》封面應用了谷歌 DeepDream

據悉，《深度學習》英文版由美國麻省理工學院 MIT 出版社于 2016 年 12 月推出，一經出版就風靡全球。本書封面采用了藝術家 Daniel Ambrosi 提供的美國中央公園杜鵑花步道夢幻景觀。該圖片是在藝術家的億級像素全景圖上，應用 Joseph Smarr（就職于谷歌）和 Chirs Lamb（就職于英偉達）修改后的 Google DeepDream開源程序，創造了亦真亦幻、艷麗奪目的夢幻景觀。

《深度學習》的一大特點是介紹深度學習算法的本質，脫離具體代碼實現給出算法背后的邏輯，不寫代碼的人也完全可以看。為了方便讀者閱讀，作者特別繪制了本書的內容組織結構圖，指出了全書20章內容之間的相關關系，如圖所示。讀者可以根據自己的背景或需要，隨意挑選閱讀。

《深度學習》中文版內容組織結構圖。從一章到另一章的箭頭表示前一章是理解后一章的必備內容。

總結

以上是生活随笔為你收集整理的一文读懂AI圣经，凡研究《深度学习》都知道的一本书！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。