人工智能、機器學習、深度學習的關系

1、 人工智能——機器推理

利用計算機構建具有人類智力特征的復雜機器，即為通用人工智能或強人工智能，即讓機器擁有人類的所有感覺、所有理智、像人類一樣思考。要實現(xiàn)真正意義上的人工智能可能還有很長的路，但是在一些特定的領域，如圖像識別、人臉識別、計算機視覺等方面已經(jīng)實現(xiàn)了比人類更好的效果。這些被稱為“狹義的人工智能”或“弱人工智能”。

2、 機器學習——數(shù)據(jù)驅動的科學

機器學習也被稱為統(tǒng)計機器學習，是人工智能領域的一個分支，基本思想是基于數(shù)據(jù)構建統(tǒng)計模型，并利用模型對數(shù)據(jù)進行分析和預測的一門學科。機器學習是一種讓計算機利用數(shù)據(jù)而非指令來進行各種工作的方法。

機器學習最基本的做法是利用算法來解析數(shù)據(jù)，從數(shù)據(jù)中學習到規(guī)律，并掌握這種規(guī)律，然后對真實世界中的時間做出決策或預測。機器學習的核心是使用大量的數(shù)據(jù)進行訓練，通過各種算法從數(shù)據(jù)中學習如何完成任務。

機器學習是基于訓練數(shù)據(jù)構建統(tǒng)計模型，從而是的計算機具有對新數(shù)據(jù)進行預測和分析的能力，機器學習方法按其實現(xiàn)的目標不同，可以分為：監(jiān)督學習、無監(jiān)督學習和強化學習。

• 監(jiān)督學習：
  使用帶有標簽的訓練數(shù)據(jù)集進行訓練，輸入的訓練數(shù)據(jù)由物體的特征向量（輸入）和物體的標簽（輸出）兩部分構成。若輸出的標簽是一個連續(xù)的值，稱為回歸監(jiān)督學習；若輸出的標簽是一個離散的值，稱為分類監(jiān)督學習。
  涉及兩個方面：
  ① 根據(jù)提供的訓練數(shù)據(jù)，選擇一種合適的模型進行訓練，直至模型收斂。
  常見的監(jiān)督學習模型：Logistic回歸、SVM、KNN、決策樹、樸素貝葉斯等。
  每個樣本數(shù)據(jù)的輸入是由物體的特征構成的特征向量，如顏色大小等，輸出的是物體類別。
  ② 當模型訓練完畢后，將新的輸入數(shù)據(jù)帶入模型，模型將根據(jù)新的特征信息，找出最符合這種特征的輸出結果。

• 無監(jiān)督學習：
  訓練樣本沒有任何的標簽和輸出，其目的是對原始數(shù)據(jù)結構進行深入的分析，找出數(shù)據(jù)間存在的規(guī)律與關系。
  典型的無監(jiān)督學習任務包括：聚類、降維、特征提取等。
  雖然監(jiān)督學習準確率更高，但是現(xiàn)實中我們獲得大量數(shù)據(jù)一般是沒有標簽數(shù)據(jù)的，因此無監(jiān)督學習顯得尤為重要。傳統(tǒng)的方法不令人滿意，但是深度學習被證明有強大的無監(jiān)督學習能力，尤其在計算機視覺領域，深度學習達到的效果遠遠優(yōu)于傳統(tǒng)機器學習。

• 強化學習：
  也稱增強學習。強調(diào)如何基于環(huán)境而行動，以取代最大化的預期利益。和有監(jiān)督/無監(jiān)督對比，不需要出現(xiàn)正確的輸入輸出對，也不需要精確校正次優(yōu)化行為，更注重在線規(guī)劃，在未知領域和現(xiàn)有知識之間找到平衡，其學習過程是一個從實際環(huán)境中不斷學習積累，不斷進化的過程。

3、深度學習——大腦的仿真

過去，深度學習是作為機器學習的一個算法而存在，被稱為人工神經(jīng)網(wǎng)絡，由于受到算法理論、數(shù)據(jù)、硬件的制約，多年以來一直都是單層或淺層的網(wǎng)絡結構。并且隨著其他更有效率的淺層算法（SVM/Logistic回歸）的提出，神經(jīng)網(wǎng)絡在效果和性能上都沒有任何優(yōu)勢，逐漸淡出視野。后來，隨著大數(shù)據(jù)的發(fā)展，以及大規(guī)模硬件加速設備的出現(xiàn)，特別是GPU的不斷提升，使得神經(jīng)網(wǎng)絡重新受到重視。

深度學習的發(fā)展歷程

1957年，Rosenblatt提出感知器，但無法解決非線性數(shù)據(jù)的分類，后又學者提出剁成神經(jīng)網(wǎng)絡能夠解決非線性問題，但卻沒有提出多層神經(jīng)網(wǎng)絡的有效訓練方法。

1986年Rumelhar和Hinton提出了BP算法，解決了兩層乃至多層的神經(jīng)網(wǎng)絡訓練問題，解決了非線性分類問題。
BP算法的制約：
① 隨著神經(jīng)元節(jié)點的增多，訓練時間容易變長；
② 神經(jīng)網(wǎng)絡的優(yōu)化函數(shù)是一個非凸優(yōu)化問題，容易造成局部最優(yōu)解；
③ 理論上說網(wǎng)絡層數(shù)越多，神經(jīng)網(wǎng)絡的學習能力越強，但是隨著網(wǎng)絡層數(shù)的增多，網(wǎng)絡的學習能力并未隨之提高，由于BP算法導致的梯度消失的問題。

2006年Hinton首次提出“深度信念網(wǎng)絡”，傳統(tǒng)的訓練方式采樣隨機初始化的方式來初始化權值參數(shù)，但該網(wǎng)絡利用預訓練（pre-training）的過程，可以方便神經(jīng)網(wǎng)絡中的權值找到一個接近最優(yōu)解的初始值，再用“微調(diào)”技術（fine-tuning）技術對整個網(wǎng)絡進行優(yōu)化訓練。這兩個技術有效的減小了網(wǎng)絡的訓練時間，并緩解了BP算法導致的梯度消失的問題。給神經(jīng)網(wǎng)絡賦予了新名稱——深度學習。

深度學習真正受人矚目是2012年的ImageNet比賽，Hinton的學生利用多層卷積神經(jīng)網(wǎng)絡成功的對包含一千類別的一百萬張圖片進行了訓練，分類錯誤率只有15%，比第二名低了近11個百分點，此后深度學習呈爆發(fā)式的發(fā)展。
深度學習的興起離不開大數(shù)據(jù)和高性能的計算平臺的推動，分別被稱為 “引擎”和“燃料”。深度學習的成功需要依靠大量的訓練數(shù)據(jù)來進行學習，大數(shù)據(jù)是深度學習的基礎；另一方面，對大量數(shù)據(jù)的學習和訓練，效率問題很難解決，就需要硬件設施的加速發(fā)展。

深度學習概述

1. 從低層到高層的特征抽象
深度學習借助人類視覺系統(tǒng)對外部信息的分級處理方式，通過組合底層特征形成更加抽象的高層特征。如計算機視覺領域，深度學習就是從原始圖像的像素數(shù)據(jù)出發(fā)，通過不同的卷積核處理，如拉普拉斯濾波器等，去學習得到一個低層次的表達，之后在這些低層次表達的基礎上，通過線性或非線性組合，來獲得一個高層次的表達。

2. 讓網(wǎng)絡變得更深

• 深度學習是機器學習的一種分支學科，其目的是建立可以模擬人腦進行分析學習的模型，模仿人腦的機制來解釋數(shù)據(jù).深度學習之所以成為“深度”，是因為之前的機器學習方法都是淺層學習，深度學習可以理解為傳統(tǒng)神經(jīng)網(wǎng)絡的發(fā)展。
• 二三十年前，神經(jīng)網(wǎng)絡曾是機器學習領域的熱點方向。但是后來由于理論分析的難度，加上訓練方法需要很多經(jīng)驗和技巧，以及巨大的計算量和優(yōu)化求解難度，使其慢慢淡出了科研領域的主流方向。此后出現(xiàn)的Hinton的預訓練和微調(diào)技術緩解了梯度消失問題，此后出現(xiàn)了各種優(yōu)化技術。如單側抑制的激活函數(shù)ReLu取代傳統(tǒng)的sigmoid激活函數(shù)，使得梯度消失問題進一步緩解。最近，一種稱為梯度殘差的技術被應用到神經(jīng)網(wǎng)絡的訓練中，使得網(wǎng)絡層數(shù)達到了百層以上。

3. 自動特征提取

• 深度學習的第三個技術改革是其具有強大的自動提取特征的能力，淺層結構算法有很多局限性，在有限樣本和計算單元情況下對復雜函數(shù)的表示能力有限，針對復雜分類問題七泛化能力受到一定的制約。更重要的是淺層模型有一個特點，是需要依靠人工來抽取樣本的特征，然而手工選取是很費力的一件事情，能不能選取好的特征很大程度上靠經(jīng)驗和運氣。
• 深度學習使得自動學習特征成為可能。深度學習框架將特征提取和分類器結合到一個框架中，自動從海量大數(shù)據(jù)中去學習特征，在使用中減少了手工設計特征的巨大工作量。
• 相比前兩次人工智能高潮中的神經(jīng)網(wǎng)絡模型，深度學習帶來的變化不僅僅是層數(shù)上的簡單堆疊，更重要的是端到端（end-to-end）的表示學習（representation learning）思想。
• 深度學習時代，輸入數(shù)據(jù)直接變成了欲處理對象的最初形態(tài)，如初始圖像的最初形態(tài)，如初始圖像、初始語音等。

總結

以上是生活随笔為你收集整理的深入浅出深度学习（一）深度学习的发展的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。