文章目錄

• 1 什么是深度學(xué)習(xí)？
• 2 深度學(xué)習(xí)應(yīng)用
• • 2.1 機(jī)器學(xué)習(xí)的一般方法
  • 2.2 深度學(xué)習(xí)的一般方法
• 3 GPU的迅速發(fā)展
• • 3.1 GPU與顯卡的區(qū)別
  • 3.2 GPU 與 CPU 區(qū)別
  • 3.3 GPU種類
• 參考資料

注：轉(zhuǎn)載請(qǐng)標(biāo)明原文出處鏈接：https://xiongyiming.blog.csdn.net/article/details/98944012

1 什么是深度學(xué)習(xí)？

深度學(xué)習(xí)(DL, Deep Learning)是機(jī)器學(xué)習(xí)(ML, Machine Learning)領(lǐng)域中一個(gè)新的研究方向，它被引入機(jī)器學(xué)習(xí)使其更接近于最初的目標(biāo)——人工智能(AI, Artificial Intelligence)。
深度學(xué)習(xí)是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學(xué)習(xí)過程中獲得的信息對(duì)諸如文字，圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。它的最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識(shí)別文字、圖像和聲音等數(shù)據(jù)。 深度學(xué)習(xí)是一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)算法，在語音和圖像識(shí)別方面取得的效果，遠(yuǎn)遠(yuǎn)超過先前相關(guān)技術(shù)。
深度學(xué)習(xí)在搜索技術(shù)，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，機(jī)器翻譯，自然語言處理，多媒體學(xué)習(xí)，語音，推薦和個(gè)性化技術(shù)，以及其他相關(guān)領(lǐng)域都取得了很多成果。深度學(xué)習(xí)使機(jī)器模仿視聽和思考等人類的活動(dòng)，解決了很多復(fù)雜的模式識(shí)別難題，使得人工智能相關(guān)技術(shù)取得了很大進(jìn)步。
(以上均來自百度百科)

下面了解一下人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)之間的關(guān)系。下圖是三者之間的關(guān)系，可以看出三者之間是包含和被包含的關(guān)系。

2 深度學(xué)習(xí)應(yīng)用

2.1 機(jī)器學(xué)習(xí)的一般方法

機(jī)器學(xué)習(xí)按照方法主要可以分為兩大類：監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。其中監(jiān)督學(xué)習(xí)主要由分類和回歸等問題組成，無監(jiān)督學(xué)習(xí)主要由聚類和關(guān)聯(lián)分析等問題組成。深度學(xué)習(xí)則屬于監(jiān)督學(xué)習(xí)當(dāng)中的一種。下圖為監(jiān)督學(xué)習(xí)的一般方法。

2.2 深度學(xué)習(xí)的一般方法

隨著深度學(xué)習(xí)的爆發(fā)，最新的深度學(xué)習(xí)算法已經(jīng)遠(yuǎn)遠(yuǎn)超越了傳統(tǒng)的機(jī)器學(xué) 習(xí)算法對(duì)于數(shù)據(jù)的預(yù)測(cè)和分類精度。深度學(xué)習(xí)不需要我們自己去提取特征，而是自 動(dòng)地對(duì)數(shù)據(jù)進(jìn)行篩選，自動(dòng)地提取數(shù)據(jù)高維特征。下圖為深度學(xué)習(xí)的一般方法，與傳統(tǒng)機(jī)器學(xué)習(xí)中的監(jiān)督學(xué)習(xí)一般方法（如上圖）相比，少了特征工程，節(jié)約了工程師們大量工作時(shí)間。

神經(jīng)網(wǎng)絡(luò)應(yīng)用的突破領(lǐng)域之一是控制論，神經(jīng)網(wǎng)絡(luò)有著一套完美的反饋機(jī)制，給控制論增添了不少色彩。而深度學(xué)習(xí)的出現(xiàn)就 如寒武紀(jì)生命大爆發(fā)一樣，前幾年我們或許聽到更多的是大數(shù)據(jù)處理、數(shù)據(jù)挖掘， 而如今在科技創(chuàng)新的生態(tài)中，幾乎每個(gè)人都在談?wù)撋疃葘W(xué)習(xí)、人工智能。下面簡(jiǎn)單 來介紹關(guān)于深度學(xué)習(xí)的應(yīng)用。

(1) 圖像處理

(2) 自動(dòng)駕駛

(3) 機(jī)器人
波士頓動(dòng)力機(jī)器人

(4) 醫(yī)療健康診斷

深度學(xué)習(xí)技術(shù)己經(jīng)開始滲透到每一個(gè)領(lǐng)域當(dāng)中，使得機(jī)器學(xué)習(xí)能夠?qū)崿F(xiàn)更多的應(yīng)用場(chǎng)景，并且極大地拓展了人工智能的領(lǐng)域范疇。從無人駕駛汽車、無人駕駛飛機(jī)，到生物醫(yī)學(xué)的預(yù)防性診斷、病理預(yù)測(cè)，甚至是更加貼近年輕一代的電影推薦、購物指南，幾乎所有領(lǐng)域都可以使用深度學(xué)習(xí)。

3 GPU的迅速發(fā)展

GPU (Graphics Processing Unit, 圖形處理器) 作為硬件加速器之一，通過大量圖形處理單元與 CPU 協(xié)同工作，對(duì)深度學(xué)習(xí)、數(shù)據(jù)分析，以及大量計(jì)算的工程應(yīng)用進(jìn)行加速 。 從 2007 年 NVIDIA 公司發(fā)布了第一個(gè)支持 CUDA 的 GPU 后， GPU 的應(yīng)用范圍不斷拓展，從政府實(shí)驗(yàn)室、大學(xué)、企業(yè)的大型數(shù)據(jù)中心，到現(xiàn)今非常火熱的人工智能汽車、無人駕駛飛機(jī)和機(jī)器人等嵌入式平臺(tái)， GPU 都發(fā)揮著巨大的作用。
CUDA (Compute Unified Device Architecture, 統(tǒng)一計(jì)算設(shè)備架構(gòu))。隨著顯卡的發(fā)展， GPU 越來越強(qiáng)大， GPU 開始主要為顯示圖像做優(yōu)化，在計(jì)算上已經(jīng)超越了通用的 CPU 。 如此強(qiáng)大的芯片如果只是作為顯卡就太浪費(fèi)了，因此 NVIDIA 推出 CUDA 這一通用并行計(jì)算架構(gòu)，該架構(gòu)使 GPU 能夠解決復(fù)雜的計(jì)算問題 。

3.1 GPU與顯卡的區(qū)別

GPU只是顯卡上的一個(gè)核心處理芯片，是顯卡的心臟，不能單獨(dú)作為外接擴(kuò)展卡使用，GPU因并行計(jì)算任務(wù)較重，所以功耗較大，只能焊接在顯卡的電路板上使用。顯卡上都有GPU，它是區(qū)分顯性能的最主要元件，顯卡也叫顯示適配器，分為獨(dú)立顯卡和主板上集成顯卡，獨(dú)立顯卡主要由GPU、顯存和接口電路構(gòu)成，集成顯卡沒有獨(dú)立顯存而是使用主板上的內(nèi)存。
GPU是圖形處理器，一般GPU就是焊接在顯卡上的，大部分情況下，我們所說GPU就等于指顯卡，但是實(shí)際情況是GPU是顯示卡的“心臟”，是顯卡的一個(gè)核心零部件，核心組成部分。它們是“寄生與被寄生”關(guān)系。GPU本身并不能單獨(dú)工作，只有配合上附屬電路和接口，才能工作。這時(shí)候，它就變成了顯卡
參考鏈接: https://baijiahao.baidu.com/s?id=1607965696317204020&wfr=spider&for=pc

3.2 GPU 與 CPU 區(qū)別

比較 GPU 和 CPU ，就是比較它們兩者如何處理任務(wù)。如下圖圖 1-9 所示， CPU 使用幾個(gè)核心處理單元去優(yōu)化串行順序任務(wù)，而 GPU 的大規(guī)模并行架構(gòu)擁有數(shù)以千計(jì)的更小、更高效的處理單元，用于處理多個(gè)并行小任務(wù)。
CPU 擁有復(fù)雜的系統(tǒng)指令，能夠進(jìn)行復(fù)雜的任務(wù)操作和調(diào)度，兩者是互補(bǔ)關(guān)系，而不能相互代替。

GPU 是大規(guī)模并行架構(gòu)，處理并行任務(wù)毫無疑問是非常快的，深度學(xué)習(xí)需要高
效的矩陣操作和大量的卷積操作， GPU 的并行架構(gòu)再適合不過。簡(jiǎn)單來說，確實(shí)如此，但是為什么 GPU 進(jìn)行矩陣操作和卷積操作會(huì)比 CPU 要快呢？真正原因是 GPU具有如下特性 ：
(1) 高帶寬
(2) 高速的緩存性能
(3) 并行單元多

在執(zhí)行多任務(wù)時(shí)， CPU 需要等待帶寬，而 GPU 能夠優(yōu)化帶寬。舉個(gè)簡(jiǎn)單的例子，我們可以把 CPU 看作跑車， GPU 是大卡車，如下圖圖 1-10 所示任務(wù)就是要把一堆貨物從北京搬運(yùn)到廣州。 CPU（跑車〉可以快速地把數(shù)據(jù)（貨物〉從內(nèi)存讀入 RAM 中，然而 GPU (大卡車〉裝貨的速度就好慢了。不過后面才是重點(diǎn)， CPU (跑車）把這堆數(shù)據(jù)（貨物）從北京搬運(yùn)到廣州｜需要來回操作很多次，也就是往返京廣線很多次，而 GPU (大卡車）只需要一 次就可以完成搬運(yùn)（一次可以裝載大量數(shù)據(jù)進(jìn)入內(nèi)存）。換言之， CPU 擅長(zhǎng)操作小的內(nèi)存塊，而 GPU 則擅長(zhǎng)操作大的內(nèi)存塊 。 CPU 集群大概可以達(dá)到 50GB/s 的帶寬總量，而等量的 GPU 集群可以達(dá)到 750GB/s 的帶寬量。

如果讓一輛大卡車去裝載很多堆貨物，就要等待很長(zhǎng)的時(shí)間了，因?yàn)橐却罂ㄜ噺谋本┻\(yùn)到廣州，然后再回來裝貨物。設(shè)想一下，我們現(xiàn)在擁有了跑車車隊(duì)和卡車車隊(duì)（線程并行〉，運(yùn)載一堆貨物（非常大塊的內(nèi)存數(shù)據(jù)需要讀入緩存，如大型矩陣）。我們會(huì)等待第一輛卡車，但是后面就不需要等待的時(shí)間了，因?yàn)樵趶V州會(huì)有一隊(duì)伍的大卡車正在排隊(duì)輸送貨物（數(shù)據(jù)），這時(shí)處理器就可以直接從緩存中讀取數(shù)據(jù)了。在線性并行的情況下， GPU 可以提供高帶寬，從而隱藏延遲時(shí)間。這也就是GPU 比 CPU 更適合處理深度學(xué)習(xí)的原因。

3.3 GPU種類

特別是最近幾年，隨著 GPU處理能力的飛速進(jìn)步 ，在 2012 年需要 l 個(gè)月才能完成的深度學(xué)習(xí)訓(xùn)練，在 2015 年只需幾天即可完成 。 在這樣的背景下，深度學(xué)習(xí)的發(fā)展恰逢其時(shí)，將會(huì)引發(fā)進(jìn)一步的革新和發(fā)展。

對(duì)于深度學(xué)習(xí)的加速器 GPU，現(xiàn)在市面上主要的品牌有 AMD 、 NVIDIA 、Intel 的 Xeon Phi，如下圖所示。

NVIDIA公司的GUP使用最為廣泛，NVIDIA 的計(jì)算加速標(biāo)準(zhǔn)庫 cuDNN 使得工程師在 CUDA 平臺(tái)中構(gòu)建深度學(xué)習(xí)變得非常容易，而且在同 一張顯卡的前提下比沒有使用 cnDNN 的速度提升 5 倍之多。有良好的生態(tài)。下圖是NVIDIA公司的三種類型的GPU。

其中，
(1) GeForce 系列面向大眾，常見的有：GeForce GTX 1080, GeForce GTX 1080 Ti, GeForce GTX 2080 Ti
(2) Tesla 系列面向科學(xué)計(jì)算；
(3) Tegra 系列面向嵌入式的 GPU 主板。

---

參考資料

[1] 圖解深度學(xué)習(xí)
[2] 深度學(xué)習(xí)原理與實(shí)踐
[3] TensorFlow實(shí)戰(zhàn)Google深度學(xué)習(xí)框架(第2版)

總結(jié)

以上是生活随笔為你收集整理的深度学习(1): 深度学习简介的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。