1.3人工智能與深度學習
機器學習是人工智能第三波浪潮中碰撞出來的火花，作為一種數據挖掘方法，它既實用又強大；然而，即便采用了這種新的機器學習方法，要實現真正的人工智能似乎依舊遙遙無期。因為定義特征一直需要人為干預，這是阻擋機器學習實現人工智能的一面高墻。看起來第三次人工智能的浪潮也會無疾而終。然而，出人意料的是，這波浪潮并未消退，反而出現了另一波新的浪潮。觸發這波新浪潮的就是深度學習。
隨著深度學習的出現，至少在圖像識別和語音識別領域，機器學習已經可以憑借自身的能力從輸入數據中判斷“哪些是特征值”，不再需要人工的干預。之前只能照本宣科地處理符號的機器現在也能夠獲得概念了。

人工智能浪潮及人工智能研究領域之間的對應關系圖

從深度學習首次出現到現在已經歷了漫長的時間，時間回到2006年，加拿大多倫多大學（Toronto University）的欣頓（Hinton）教授及同事們一起發表了關于深度學習的第一篇論文（https://wwwcstorontoedu/~hinton/absps/fastncpdf）。在這篇論文中，欣頓教授提出了一種名為深度置信網絡（Deep Belief Net, DBN）的方法，它是對傳統機器學習方法——神經網絡的一種擴展。深度置信網絡使用MNIST數據庫進行測試，這是一種對圖像識別方法精度和準確度進行比較的標準數據庫。這個數據庫中包含了70 000個28×28像素的手寫字符圖像數據，這些圖像都是從0到9的數字（其中60 000個訓練樣本集，10 000個測試樣本集）。
接著，他們構造了一個基于訓練數據的預測模型，依據機器能否正確識別測試用例中書寫的數字0到9來測量它的預測精度。雖然這篇論文顯示，它的預測精度要遠超傳統的方法，然而當時它并未引起大家的注意，也許這是由于它對比的對象是機器學習中比較通用的方法。
這之后不久的2012年，整個人工智能研究領域都被一個方法震撼了。這一年的圖像識別競賽“Imagenet大規模視覺識別挑戰賽（Imagnet Large Scale Visual Recognition Challenge, ILSVRC）”上，一種使用深度學習名為“超級視覺（SuperVision）”（嚴格地說，這只是他們的隊名）的方法贏得了比賽，該方法是由欣頓教授和多倫多大學的同事一起合作開發的。它將其他的競爭者們遠遠地甩在了后面，準確率也相當驚人。這場競賽中，機器會接受相應的任務去自動地判別圖像中的信息，它是一只貓、一只狗、一只鳥，抑或是一條船等，諸如此類。訓練數據集是10 000 000張圖片，測試數據是150 000張圖片。這項比賽中，每一個方法都在競爭最低的出錯率（即最高的準確率）。
讓我們看看下面這張表，它顯示了此次競賽的結果：

排名團隊名錯誤率

1SuperVision015315
2SuperVision016422
3ISI026172
4ISI026602
5ISI026646
6ISI026952
7OXFORD_VGG026979
8XRCE/INRIA027058

你可以看到SuperVision隊與第二名ISI隊之間在出錯率上的差異超過10%。第二名之后其后各隊之間的差異都在01%以內。現在你知道SuperVision在準確率上是如何碾壓其他隊的了吧。更讓人瞠目結舌的是，這是SuperVision隊首次參加ILSVRC競賽，換句話說，他們并非圖像識別的專家。SuperVision（深度學習）出現之前，圖像識別領域的普適方法是機器學習。并且，正如我們前面所介紹的，機器學習使用的特征值需要由人工進行設置或者設計。他們需要依據人類的直覺和經驗挨個嘗試設計特征，一遍又一遍地調整參數，才有可能在最終取得01%的準確率提升。深度學習出現之前，研究的熱點和競爭都集中在誰能夠發明更加高效的特征工程。因此，當深度學習突然橫空出世，所有的研究人員都大吃一驚。
另一個重要事件將深度學習的浪潮推廣到了全世界。這一事件也發生在2012年，與SuperVision在ILSVRC震驚世界的時間是同一年，那一年谷歌宣布使用自己的深度學習算法，采用YouTube視頻作為學習數據，機器可以自動識別出視頻中的貓。關于這個算法的細節可以通過http://googleblogblogspotcom/2012/06/usinglargescalebrainsimulationsforhtml了解。這個算法從YouTube的視頻中提取了1000萬個圖像，使用這些圖像作為輸入數據。回想一下我們之前所說的，傳統機器學習中人扮演著重要的角色，需要人為處理數據，從圖像中提取出特征值。而使用深度學習的話，原始圖像可以直接作為輸入數據。這表明機器自身已經可以自動地從訓練數據集中提取特征。上述的這個研究里，機器就學習了貓的概念（雖然只有貓的故事比較有名，實際的研究工作也針對人類的圖像進行了處理，效果也很好。機器已經知道了什么是人類！）下面的這幅圖片，介紹了研究中經由YouTube未打標簽的視頻訓練后深度學習認為貓所具有的特征：

這兩個重大事件深深地震撼了我們，引發了現在依舊蓬勃發展的深度學習浪潮。
谷歌推出能夠識別貓的方法之后，又拓展構造了另一個實驗，這個實驗使一個機器試圖利用深度學習進行繪畫。這一方法被稱作構夢派（Inceptionism，http://googleresearchblogspotch/2015/06/inceptionismgoingdeeperintoneuralhtml）
該文中描述，構夢派的網絡是按如下方式學習的：
“識別出的對象，會越來越多”。即形成反饋環路：如果云看起來有一點點像鳥，網絡識別則會使其更像鳥；進而，網絡在下一層及后面層中對鳥識別得更明確，直到一個清晰鳥形象出現，而且看似無處不在。
機器學習中使用神經網絡通常是為了檢測模式，從而對圖像進行識別，而“構夢派”的玩法卻是反其道而行之。正如你從下面這些“構夢派”的例子中所感受到的，這些繪圖看起來有些詭異，就像是夢魘的世界：

抑或，它們可以被看成是藝術品。這個可以讓任何人嘗試“構夢派”的工具現在已經在GitHub上開源，它的名字是Deep Dream（https://githubcom/google/deepdream）。實現的例子也可以在該頁面找到。如果你知道如何編寫Python程序，就可以試著把玩下這些例子。
好吧，似乎沒有什么可以阻擋深度學習站上史無前例的高峰，不過我們還是有不少疑問，譬如，到底深度學習有哪些創新？哪些具體的方法極大地提升了它的預測精度？令人意外的是，實際上深度學習在算法上并沒有太多的區別。正如我們在前面所提到的，深度學習是對神經網絡的應用，而神經網絡是一種機器學習算法，它模擬了人類大腦的結構。不管怎樣，機器采用了它并因此改變了一切。這其中的代表是預訓練（Pretraining）和帶激活功能的棄聯（Dropout）。這些也是實現的關鍵字，因此請記住它們。
首先，深度學習中的“深度”到底代表什么意思呢？你可能已經知道，人類的大腦是一種電路結構，這種結構相當復雜。它是由復雜電路多層堆疊而成。而另一方面，當神經網絡算法首次出現時，它的結構非常簡單。它近乎是一種人腦結構的簡化版本，其網絡也僅有很少幾層。因此，它能識別的模式少得可憐。所以，幾乎每個人都會猜想“如果我們像人腦那樣將網絡聚集在一起，讓它的實現更加復雜，能不能取得更好的效果呢？”當然，這個方法我們也嘗試過，然而，不幸的是，結果并不理想，這種方式的預測精度比將網絡堆疊起來效果還差一些。事實上，我們碰到了各種在簡單網絡中不曾遭遇的問題。為什么會這樣呢？人腦中依據你看到的東西，信號會進入到電路的不同部分。不同部分的電路受到刺激就會觸發不同的模式，所以你能區分不同的事物。
為了復制這一機制，神經網絡算法使用權重連接代替了之前網絡之間的連接。這是一個重要的改進，不過很快就出了問題。如果網絡比較簡單，權重可以依據學習數據進行恰當的分配，網絡可以很好地識別和區分這些模式。然而，一旦網絡變得復雜，連接變得過于密集，這時就很難依靠權重進行區分了。簡而言之，算法將無法恰當地劃分模式。另外，神經網絡中，網絡在進行全網訓練時，通過反饋錯誤機制可以構建一定的模型。同樣，如果網絡簡單，反饋可以及時地得到反應，然而，如果網絡有多層結構，這樣的環境中發生問題，而錯誤在它被反饋到全網之前消失了——想象一下那個錯誤擴散開并稀釋會帶來怎樣的影響。
如果網絡使用復雜結構搭建，情況是不是會好些呢？遺憾的是，這樣的嘗試最終也以失敗告終。算法自身的概念是好的，不過，以世界理解來看，它從任何的標準而言都不能被稱為一個完美的算法。雖然深度學習成功地將網絡多層化，即將網絡變得“深”了，它成功的關鍵其實是每一層都參與到分階段的學習中來。而之前的算法將整個多層網絡作為一個巨大的神經網絡，在這個單一的網絡中進行學習，這最終導致了前面提到的問題。
因此，深度學習采用了讓各層預先學習的方式。這就是著名的“預訓練”。預訓練中，學習從淺層順次開始。之后，淺層學習得出的數據會作為下一層的輸入數據。機器按照此方式，由淺層的初級特征逐步學習到深層的高級特征。譬如，學習什么是貓時，第一層是一個 輪廓、接下來的一層是眼睛和鼻子的形狀、下一層是臉的圖片、再接下來一層是臉的細節，以此類推。類似地，人類幾乎也是采用同樣的步驟進行學習，首先獲取一個全局的印象，之后再深入到細節特征。因為每一層都在分階段地學習，學習的錯誤反饋也可以在每一層上得到恰當的處理。這種設計改善了預測的精度。還有一種改進，每一層的學習都使用不同的方法，不過我們現在暫時不討論，后面的內容會進行介紹。
我們之前描述過網絡連接過于稠密的問題。避免這種密集問題的方法稱之為dropout。使用dropout的網絡通過隨機斷開神經單元之間連接的方式進行學習。dropout從物理上使得網絡變得更加稀疏。哪些網絡會被切斷是隨機決定的，因此每個學習步驟都會重新形成一個新的網絡。如果只是看看，你可能會質疑這種方法能否工作，但是它的確改進了預測精度，最終的結果是增強了網絡的魯棒性。人腦的電路也會依據它看到的主題在不同的部分進行處理或回應。dropout似乎成功地模擬了這套機制。將dropout機制嵌入算法之后，網絡權重的調整變得很有效了。
深度學習在不同的領域已經有很多成功的案例；然而，它也有其局限性。正如“深度學習”這個名字所體現的，這種方法的學習是非常“深”的。這意味著完成學習步驟要花費漫長的時間。這個過程中消耗的計算量也異常龐大的。實際上，前面我們提到谷歌對貓的識別學習就耗時三天，動用了一千多臺計算機。反過來，雖然深度學習的想法本身使用之前的技術也能達成，卻是很難實現的。如果你不能比較便利地使用具備了大規模處理能力和海量數據的機器，這一方法就不會實現。
正如我們不斷重復提起的，深度學習僅僅是機器獲取“類人（HumanLike）”知識的第一步。沒人知道未來會出現什么樣的創新。不過，我們可以預測計算機的處理能力在將來能達到怎樣的程度。為了進行預測，我們使用了摩爾定律。支撐計算機處理的集成芯片的性能是由其上搭載的晶體管數目決定的。摩爾定律顯示，集成電路上的晶體管數量大約每隔一年半的時間就會增加一倍。實際上，計算機中央處理器中的晶體管數量迄今一直遵循摩爾定律增長。我們可以做一個對比，與世界上第一臺微處理器，即英特爾公司的4004處理器，它當時有1×103（1000）個晶體管，最近的2015版，即英特爾公司的第五代酷睿處理器擁有1×109（10億）個晶體管，如果技術保持這樣的進步速度，集成電路上晶體管的數量不久將會超過100億，這比人類大腦中細胞的數目還要多。
依據摩爾定律，在未來的2045年或者更晚的時候，我們會到達“技術奇點”，那時人類將有能力對技術進行預測。彼時，機器很可能就已經具有自我遞歸的智能了。換句話說，在未來的三十年里，人工智能會逐漸成熟。那個時候的世界會變成怎樣呢……

摩爾定律的歷史

英特爾公司研發的處理器搭載的晶體管數目一直遵循摩爾定律穩定增長著。
聞名世界的學者斯蒂芬·霍金教授接受BBC的一次訪談（http://wwwbbccom/news/technology30290540）時說：
“全面人工智能的發展將宣告人類的終結！”
深度學習會成為“黑魔法”嗎？事實上，技術的發展有時的確帶來了災難。實現人工智能的路依舊漫長，然而，我們在進行深度學習的工作時要保持警惕。

總結

以上是生活随笔為你收集整理的《深度学习：Java语言实现》一一1.3人工智能与深度学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。