人工智能、機器學習、深度學習的關系

1、 人工智能——機器推理

利用計算機構建具有人類智力特征的復雜機器，即為通用人工智能或強人工智能，即讓機器擁有人類的所有感覺、所有理智、像人類一樣思考。要實現真正意義上的人工智能可能還有很長的路，但是在一些特定的領域，如圖像識別、人臉識別、計算機視覺等方面已經實現了比人類更好的效果。這些被稱為“狹義的人工智能”或“弱人工智能”。

2、 機器學習——數據驅動的科學

機器學習也被稱為統計機器學習，是人工智能領域的一個分支，基本思想是基于數據構建統計模型，并利用模型對數據進行分析和預測的一門學科。機器學習是一種讓計算機利用數據而非指令來進行各種工作的方法。

機器學習最基本的做法是利用算法來解析數據，從數據中學習到規律，并掌握這種規律，然后對真實世界中的時間做出決策或預測。機器學習的核心是使用大量的數據進行訓練，通過各種算法從數據中學習如何完成任務。

機器學習是基于訓練數據構建統計模型，從而是的計算機具有對新數據進行預測和分析的能力，機器學習方法按其實現的目標不同，可以分為：監督學習、無監督學習和強化學習。

• 監督學習：
  使用帶有標簽的訓練數據集進行訓練，輸入的訓練數據由物體的特征向量（輸入）和物體的標簽（輸出）兩部分構成。若輸出的標簽是一個連續的值，稱為回歸監督學習；若輸出的標簽是一個離散的值，稱為分類監督學習。
  涉及兩個方面：
  ① 根據提供的訓練數據，選擇一種合適的模型進行訓練，直至模型收斂。
  常見的監督學習模型：Logistic回歸、SVM、KNN、決策樹、樸素貝葉斯等。
  每個樣本數據的輸入是由物體的特征構成的特征向量，如顏色大小等，輸出的是物體類別。
  ② 當模型訓練完畢后，將新的輸入數據帶入模型，模型將根據新的特征信息，找出最符合這種特征的輸出結果。

• 無監督學習：
  訓練樣本沒有任何的標簽和輸出，其目的是對原始數據結構進行深入的分析，找出數據間存在的規律與關系。
  典型的無監督學習任務包括：聚類、降維、特征提取等。
  雖然監督學習準確率更高，但是現實中我們獲得大量數據一般是沒有標簽數據的，因此無監督學習顯得尤為重要。傳統的方法不令人滿意，但是深度學習被證明有強大的無監督學習能力，尤其在計算機視覺領域，深度學習達到的效果遠遠優于傳統機器學習。

• 強化學習：
  也稱增強學習。強調如何基于環境而行動，以取代最大化的預期利益。和有監督/無監督對比，不需要出現正確的輸入輸出對，也不需要精確校正次優化行為，更注重在線規劃，在未知領域和現有知識之間找到平衡，其學習過程是一個從實際環境中不斷學習積累，不斷進化的過程。

3、深度學習——大腦的仿真

過去，深度學習是作為機器學習的一個算法而存在，被稱為人工神經網絡，由于受到算法理論、數據、硬件的制約，多年以來一直都是單層或淺層的網絡結構。并且隨著其他更有效率的淺層算法（SVM/Logistic回歸）的提出，神經網絡在效果和性能上都沒有任何優勢，逐漸淡出視野。后來，隨著大數據的發展，以及大規模硬件加速設備的出現，特別是GPU的不斷提升，使得神經網絡重新受到重視。

深度學習的發展歷程

1957年，Rosenblatt提出感知器，但無法解決非線性數據的分類，后又學者提出剁成神經網絡能夠解決非線性問題，但卻沒有提出多層神經網絡的有效訓練方法。

1986年Rumelhar和Hinton提出了BP算法，解決了兩層乃至多層的神經網絡訓練問題，解決了非線性分類問題。
BP算法的制約：
① 隨著神經元節點的增多，訓練時間容易變長；
② 神經網絡的優化函數是一個非凸優化問題，容易造成局部最優解；
③ 理論上說網絡層數越多，神經網絡的學習能力越強，但是隨著網絡層數的增多，網絡的學習能力并未隨之提高，由于BP算法導致的梯度消失的問題。

2006年Hinton首次提出“深度信念網絡”，傳統的訓練方式采樣隨機初始化的方式來初始化權值參數，但該網絡利用預訓練（pre-training）的過程，可以方便神經網絡中的權值找到一個接近最優解的初始值，再用“微調”技術（fine-tuning）技術對整個網絡進行優化訓練。這兩個技術有效的減小了網絡的訓練時間，并緩解了BP算法導致的梯度消失的問題。給神經網絡賦予了新名稱——深度學習。

深度學習真正受人矚目是2012年的ImageNet比賽，Hinton的學生利用多層卷積神經網絡成功的對包含一千類別的一百萬張圖片進行了訓練，分類錯誤率只有15%，比第二名低了近11個百分點，此后深度學習呈爆發式的發展。
深度學習的興起離不開大數據和高性能的計算平臺的推動，分別被稱為 “引擎”和“燃料”。深度學習的成功需要依靠大量的訓練數據來進行學習，大數據是深度學習的基礎；另一方面，對大量數據的學習和訓練，效率問題很難解決，就需要硬件設施的加速發展。

深度學習概述

1. 從低層到高層的特征抽象
深度學習借助人類視覺系統對外部信息的分級處理方式，通過組合底層特征形成更加抽象的高層特征。如計算機視覺領域，深度學習就是從原始圖像的像素數據出發，通過不同的卷積核處理，如拉普拉斯濾波器等，去學習得到一個低層次的表達，之后在這些低層次表達的基礎上，通過線性或非線性組合，來獲得一個高層次的表達。

2. 讓網絡變得更深

• 深度學習是機器學習的一種分支學科，其目的是建立可以模擬人腦進行分析學習的模型，模仿人腦的機制來解釋數據.深度學習之所以成為“深度”，是因為之前的機器學習方法都是淺層學習，深度學習可以理解為傳統神經網絡的發展。
• 二三十年前，神經網絡曾是機器學習領域的熱點方向。但是后來由于理論分析的難度，加上訓練方法需要很多經驗和技巧，以及巨大的計算量和優化求解難度，使其慢慢淡出了科研領域的主流方向。此后出現的Hinton的預訓練和微調技術緩解了梯度消失問題，此后出現了各種優化技術。如單側抑制的激活函數ReLu取代傳統的sigmoid激活函數，使得梯度消失問題進一步緩解。最近，一種稱為梯度殘差的技術被應用到神經網絡的訓練中，使得網絡層數達到了百層以上。

3. 自動特征提取

• 深度學習的第三個技術改革是其具有強大的自動提取特征的能力，淺層結構算法有很多局限性，在有限樣本和計算單元情況下對復雜函數的表示能力有限，針對復雜分類問題七泛化能力受到一定的制約。更重要的是淺層模型有一個特點，是需要依靠人工來抽取樣本的特征，然而手工選取是很費力的一件事情，能不能選取好的特征很大程度上靠經驗和運氣。
• 深度學習使得自動學習特征成為可能。深度學習框架將特征提取和分類器結合到一個框架中，自動從海量大數據中去學習特征，在使用中減少了手工設計特征的巨大工作量。
• 相比前兩次人工智能高潮中的神經網絡模型，深度學習帶來的變化不僅僅是層數上的簡單堆疊，更重要的是端到端（end-to-end）的表示學習（representation learning）思想。
• 深度學習時代，輸入數據直接變成了欲處理對象的最初形態，如初始圖像的最初形態，如初始圖像、初始語音等。

總結

以上是生活随笔為你收集整理的深入浅出深度学习（一）深度学习的发展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。