當(dāng)前位置：首頁(yè) > 人工智能 > pytorch >内容正文

pytorch

深度学习入门笔记（一）：深度学习引言

發(fā)布時(shí)間：2023/12/14 pytorch 40 豆豆

生活随笔收集整理的這篇文章主要介紹了深度学习入门笔记（一）：深度学习引言小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

歡迎關(guān)注WX公眾號(hào)：【程序員管小亮】

專欄——深度學(xué)習(xí)入門筆記

聲明

1）該文章整理自網(wǎng)上的大牛和機(jī)器學(xué)習(xí)專家無(wú)私奉獻(xiàn)的資料，具體引用的資料請(qǐng)看參考文獻(xiàn)。
2）本文僅供學(xué)術(shù)交流，非商用。所以每一部分具體的參考資料并沒有詳細(xì)對(duì)應(yīng)。如果某部分不小心侵犯了大家的利益，還望海涵，并聯(lián)系博主刪除。
3）博主才疏學(xué)淺，文中如有不當(dāng)之處，請(qǐng)各位指出，共同進(jìn)步，謝謝。
4）此屬于第一版本，若有錯(cuò)誤，還需繼續(xù)修正與增刪。還望大家多多指點(diǎn)。大家都共享一點(diǎn)點(diǎn)，一起為祖國(guó)科研的推進(jìn)添磚加瓦。

文章目錄

歡迎關(guān)注WX公眾號(hào)：【程序員管小亮】
- 專欄——深度學(xué)習(xí)入門筆記
- 聲明
- 深度學(xué)習(xí)入門筆記（一）：深度學(xué)習(xí)引言
- - 1、簡(jiǎn)介
  - 2、神經(jīng)網(wǎng)絡(luò)
  - 3、監(jiān)督學(xué)習(xí)
  - 4、結(jié)構(gòu)化和非結(jié)構(gòu)化
  - 5、為什么深度學(xué)習(xí)會(huì)興起？
- 推薦閱讀
- 參考文章

深度學(xué)習(xí)入門筆記（一）：深度學(xué)習(xí)引言

1、簡(jiǎn)介

其實(shí)大部分人都是這樣的，即便是我們這些技術(shù)宅，第一次聽到深度學(xué)習(xí)的時(shí)候也是一臉懵逼，覺得很高大上，然而并不知道它到底是干啥的。關(guān)于什么是深度學(xué)習(xí)，深度學(xué)習(xí)能做些什么事情？在 deeplearning.ai 的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)課程中做過(guò)介紹。

以下是吳恩達(dá)老師的原話：

深度學(xué)習(xí)改變了傳統(tǒng)互聯(lián)網(wǎng)業(yè)務(wù)，例如如網(wǎng)絡(luò)搜索和廣告，但是深度學(xué)習(xí)同時(shí)也使得許多新產(chǎn)品和企業(yè)以很多方式幫助人們，從獲得更好的健康關(guān)注。
深度學(xué)習(xí)做的非常好的一個(gè)方面就是讀取X光圖像，除此之外還有生活中的個(gè)性化教育，到精準(zhǔn)化農(nóng)業(yè)，甚至到駕駛汽車以及其它一些方面。
在接下來(lái)的十年中，我認(rèn)為我們所有人都有機(jī)會(huì)創(chuàng)造一個(gè)驚人的世界和社會(huì)，這就是 AI （人工智能）的力量。我希望你們能在創(chuàng)建 AI （人工智能）社會(huì)的過(guò)程中發(fā)揮重要作用。
我認(rèn)為AI是最新的電力，大約在一百年前，我們社會(huì)的電氣化改變了每個(gè)主要行業(yè)，從交通運(yùn)輸行業(yè)到制造業(yè)、醫(yī)療保健、通訊等方面，我認(rèn)為如今我們見到了 AI 明顯的令人驚訝的能量，帶來(lái)了同樣巨大的轉(zhuǎn)變。顯然，AI 的各個(gè)分支中，發(fā)展的最為迅速的就是深度學(xué)習(xí)。因此現(xiàn)在，深度學(xué)習(xí)是在科技世界中廣受歡迎的一種技巧。

其實(shí)只要你一搜深度學(xué)習(xí)就是各種鋪天蓋地的新聞和資料，

關(guān)于深度學(xué)習(xí)的用途，現(xiàn)在最熟知的莫過(guò)于，用一個(gè)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行貓咪辨認(rèn)，如下圖，可以看到兩只小貓咪，那么以電腦為首的機(jī)器，能不能識(shí)別出有幾只貓咪，什么品種的貓咪（我太喜歡小貓小狗了 😃）。

2、神經(jīng)網(wǎng)絡(luò)

大概了解了深度學(xué)習(xí)之后，下一個(gè)就應(yīng)該是神經(jīng)網(wǎng)絡(luò)了。

我們常常用深度學(xué)習(xí)這個(gè)術(shù)語(yǔ)來(lái)指訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程。有時(shí)它指的是特別大規(guī)模的神經(jīng)網(wǎng)絡(luò)訓(xùn)練。那么神經(jīng)網(wǎng)絡(luò)究竟是什么呢？

讓我們從一個(gè)房?jī)r(jià)預(yù)測(cè)的例子開始講起。假設(shè)你有一個(gè)數(shù)據(jù)集，它包含了六棟房子的信息。所以也就是說(shuō)，你知道房屋的具體信息，比如面積是多少平方英尺或者平方米，并且知道房屋價(jià)格，目標(biāo)函數(shù)是預(yù)測(cè)房?jī)r(jià)。

這時(shí)，就需要擬合一個(gè)根據(jù)房屋面積預(yù)測(cè)房?jī)r(jià)的函數(shù)。如果對(duì)線性回歸很熟悉，你應(yīng)該很容易就用這些數(shù)據(jù)擬合一條直線。

但奇怪的是，你可能也發(fā)現(xiàn)了，價(jià)格永遠(yuǎn)不會(huì)是負(fù)數(shù)，也就是等于或者大于0。因此，直線需要彎曲一點(diǎn)并最終在零結(jié)束。這條藍(lán)色的手劃線就是最終的函數(shù)，用于根據(jù)房屋面積預(yù)測(cè)價(jià)格。雖然這條直線擬合的不錯(cuò)，但是因?yàn)閮r(jià)格永不負(fù)數(shù)的緣故，你也許會(huì)認(rèn)為這個(gè)函數(shù)只擬合房屋價(jià)格，沒啥普適性，偶然性反而更大一些。

把房屋的面積（size）作為神經(jīng)網(wǎng)絡(luò)的輸入，用 $x$ 表示，通過(guò)一個(gè)小圓圈，其實(shí)這個(gè)小圓圈就是一個(gè)單獨(dú)的神經(jīng)元（neuron），最終輸出了價(jià)格（price），用 $y$ 表示。到這里網(wǎng)絡(luò)就實(shí)現(xiàn)了左邊的功能。

劇透一下，在有關(guān)神經(jīng)網(wǎng)絡(luò)的文獻(xiàn)中，你會(huì)經(jīng)常看到這個(gè)函數(shù)。從趨于零開始，然后變成一條直線，幾乎可以說(shuō)是完全擬合了房屋價(jià)格和房屋面積的關(guān)系。這個(gè)函數(shù)被稱作 ReLU 激活函數(shù)，它的全稱是 線性整流函數(shù)（Rectified Linear Unit, ReLU），又稱 修正線性單元。修正可以理解成 $m a x (0, x)$ ，這也是函數(shù)這個(gè)形狀的原因。

至于很多同學(xué)擔(dān)心的數(shù)學(xué)問題，這里提出了Relu函數(shù)，你現(xiàn)在不用擔(dān)心，之后我們會(huì)詳細(xì)地講到它。

可以看到我們已經(jīng)簡(jiǎn)單地搭建了一個(gè)單神經(jīng)元網(wǎng)絡(luò)，如果可以的話也可以叫它 神經(jīng)網(wǎng)絡(luò)，不管規(guī)模的大小，即便只有一個(gè)神經(jīng)元，它也是通過(guò)把這些單個(gè)神經(jīng)元疊加在一起來(lái)形成一個(gè)大的網(wǎng)絡(luò)。比較經(jīng)典的類比就是，把這些神經(jīng)元想象成單獨(dú)的樂高積木，你就通過(guò)搭積木來(lái)完成一個(gè)更大的神經(jīng)網(wǎng)絡(luò)。

下圖是神經(jīng)網(wǎng)絡(luò)：

下圖是樂高積木：

有沒有一種相似的感覺？？？

還是來(lái)看剛才的例子，不僅僅用房屋的面積來(lái)預(yù)測(cè)它的價(jià)格，還有其他相關(guān)房屋特征，比如臥室的數(shù)量，家人的數(shù)量等等。

在kaggle上有一個(gè)經(jīng)典的競(jìng)賽題目就是房?jī)r(jià)預(yù)測(cè)，具體說(shuō)明如下：

可以看到影響最終價(jià)格的因素可以很多，甚至高達(dá)79個(gè)。這些都可以在圖上用小圓圈代替，也就是說(shuō)都可以是 ReLU 的一部分，再或者其它非線性函數(shù)的一部分。對(duì)于一個(gè)房子來(lái)說(shuō)，這些都是與它息息相關(guān)的事情。在這個(gè)情景里，除了房屋面積之外，還有比如臥室的數(shù)量，郵政編碼（交通便利程度），富裕程度等。

神經(jīng)網(wǎng)絡(luò)的神奇之處在于，當(dāng)你實(shí)現(xiàn)它之后，你要做的只是輸入 $x$ ，就能得到輸出 $y$ ，這就成為了一個(gè)端到端的系統(tǒng)以實(shí)現(xiàn)功能。不過(guò)神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)，從而精準(zhǔn)地從 $x$ 到 $y$ 實(shí)現(xiàn)映射函數(shù)。這些數(shù)據(jù)是需要有 label 標(biāo)注的，也就是監(jiān)督學(xué)習(xí)，可能你不知道什么是監(jiān)督學(xué)習(xí)，別著急，下一節(jié)會(huì)講到的。你會(huì)發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)的環(huán)境下是如此的有效和強(qiáng)大，也就是說(shuō)你只要嘗試輸入一個(gè) $x$ ，即可把它映射成 $y$ ，就好像剛才在房?jī)r(jià)預(yù)測(cè)中看到的效果，轉(zhuǎn)換成了一個(gè)簡(jiǎn)單數(shù)學(xué)問題，是不是很棒！

3、監(jiān)督學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)有很多種類，根據(jù)不同的場(chǎng)景，考慮到使用的效果，會(huì)產(chǎn)生不一樣的化學(xué)反應(yīng)，事實(shí)證明，目前幾乎所有神經(jīng)網(wǎng)絡(luò)創(chuàng)造的經(jīng)濟(jì)價(jià)值，本質(zhì)上都離不開 監(jiān)督學(xué)習(xí)。

監(jiān)督學(xué)習(xí)是指：利用一組已知類別的樣本調(diào)整分類器的參數(shù)，使其達(dá)到所要求性能的過(guò)程，也稱為監(jiān)督訓(xùn)練或有教師學(xué)習(xí)。

如今深度學(xué)習(xí)比較熱門的領(lǐng)域，就是在線廣告。這也許不是最鼓舞人心的，但真的很賺錢（尼瑪，還真是真實(shí)=-=）。具體就是通過(guò)在網(wǎng)站上輸入一個(gè)廣告的相關(guān)信息，因?yàn)橐草斎肓擞脩舻南嚓P(guān)信息，于是網(wǎng)站就會(huì)考慮是否向你展示廣告，你的點(diǎn)擊的行為會(huì)直接影響到一些大型在線廣告公司的收入。再舉一個(gè)某寶的例子，你在挑選自己想要的產(chǎn)品時(shí)，系統(tǒng)會(huì)推薦一些類似的或者相關(guān)的產(chǎn)品給你，而這有可能會(huì)導(dǎo)致你的連帶消費(fèi)，這個(gè)點(diǎn)擊行為可能會(huì)直接影響到一些產(chǎn)品公司的收入。

除此之外，計(jì)算機(jī)視覺在過(guò)去的幾年里也依靠深度學(xué)習(xí)取得了長(zhǎng)足的進(jìn)步。最經(jīng)典的例子是手寫數(shù)字識(shí)別，輸入你的手寫數(shù)字，計(jì)算機(jī)就可以輸出相應(yīng)的真實(shí)數(shù)字。

還有在語(yǔ)音識(shí)別方面的進(jìn)步也是非常令人興奮的。比如語(yǔ)音輸入轉(zhuǎn)換為文字，像訊飛之類的輸入法公司。還有得益于深度學(xué)習(xí)，機(jī)器翻譯也有很大的發(fā)展，比如百度。

而這些都是監(jiān)督學(xué)習(xí)，因?yàn)槎际抢靡唤M已知類別的樣本調(diào)整分類器的參數(shù)。

4、結(jié)構(gòu)化和非結(jié)構(gòu)化

你可能也聽說(shuō)過(guò)機(jī)器學(xué)習(xí)對(duì)于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用，結(jié)構(gòu)化數(shù)據(jù)意味著數(shù)據(jù)的基本數(shù)據(jù)庫(kù)。例如在房?jī)r(jià)預(yù)測(cè)中，你可能有一個(gè)數(shù)據(jù)庫(kù)，有專門的幾列數(shù)據(jù)告訴你臥室的大小和數(shù)量，這就是結(jié)構(gòu)化數(shù)據(jù)。或預(yù)測(cè)用戶是否會(huì)點(diǎn)擊廣告，你可能會(huì)得到關(guān)于用戶的信息，比如年齡以及關(guān)于廣告的一些信息，然后對(duì)你的預(yù)測(cè)分類標(biāo)注，這就是結(jié)構(gòu)化數(shù)據(jù)，意思是每個(gè)特征，比如說(shuō)房屋大小臥室數(shù)量，或者是一個(gè)用戶的年齡，都有一個(gè)很好的定義。

相反非結(jié)構(gòu)化數(shù)據(jù)是指比如音頻，原始音頻或者你想要識(shí)別的圖像或文本中的內(nèi)容。這里的特征可能是圖像中的像素值或文本中的單個(gè)單詞。

從歷史經(jīng)驗(yàn)上看，處理非結(jié)構(gòu)化數(shù)據(jù)是很難的，與結(jié)構(gòu)化數(shù)據(jù)比較，讓計(jì)算機(jī)理解非結(jié)構(gòu)化數(shù)據(jù)很難，而人類進(jìn)化得非常善于理解音頻信號(hào)和圖像，文本是一個(gè)更近代的發(fā)明，但是人們真的很擅長(zhǎng)解讀非結(jié)構(gòu)化數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)的興起就是這樣最令人興奮的事情之一，多虧了深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)，計(jì)算機(jī)現(xiàn)在能更好地解釋非結(jié)構(gòu)化數(shù)據(jù)，這是與幾年前相比的結(jié)果。許多新的令人興奮的應(yīng)用被使用，語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言文字處理，甚至可能比兩三年前的還要多！！！

5、為什么深度學(xué)習(xí)會(huì)興起？

推動(dòng)深度學(xué)習(xí)變得如此熱門的主要因素有三個(gè)：數(shù)據(jù)規(guī)模、計(jì)算量及算法的創(chuàng)新。

1958年Rosenblatt發(fā)明的感知算法可對(duì)輸入的多維數(shù)據(jù)進(jìn)行二分類，且能夠使用梯度下降法從訓(xùn)練樣本中自動(dòng)學(xué)習(xí)更新權(quán)值。
1986年Hiton發(fā)明的MLP的BP算法，并采用Sigmoid進(jìn)行非線性映射，有效解決了非線性公類和學(xué)習(xí)的問題。該方法引發(fā)了神經(jīng)網(wǎng)絡(luò)的第二次熱潮。
2006年，深度學(xué)習(xí)元年。Hiton提出了深層網(wǎng)絡(luò)訓(xùn)練中梯度消失問題的解決方案：“無(wú)監(jiān)督訓(xùn)練對(duì)權(quán)值進(jìn)行初始化+有監(jiān)督訓(xùn)練微調(diào)”。其主要思想是先通過(guò)自學(xué)習(xí)的方法學(xué)習(xí)到訓(xùn)練數(shù)據(jù)的結(jié)構(gòu)，然后在該結(jié)構(gòu)上進(jìn)行有監(jiān)督訓(xùn)練微調(diào)。
2012年Hiton課題組首次參加ImageNet圖像識(shí)別比賽，AlexNet奪得冠軍，并碾壓了第二名（SVM）的分類性能。

這么看來(lái)其實(shí)深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)之前的基礎(chǔ)技術(shù)理念已經(jīng)存在大概幾十年了，為什么它們現(xiàn)在才突然流行起來(lái)呢？先來(lái)看一下時(shí)間線中最重要的2012年，為什么深度學(xué)習(xí)在這一年火了？先來(lái)看一下為什么深度學(xué)習(xí)能夠如此有效？

來(lái)畫個(gè)圖，在水平軸上畫一個(gè)形狀，在此繪制出所有任務(wù)的數(shù)據(jù)量，而在垂直軸上，畫出機(jī)器學(xué)習(xí)算法的性能。根據(jù)圖像可以發(fā)現(xiàn)，如果把一個(gè)傳統(tǒng)機(jī)器學(xué)習(xí)算法的性能畫出來(lái)，作為數(shù)據(jù)量的一個(gè)函數(shù)，你可能得到一個(gè)彎曲的線，就像圖中這樣，它的性能一開始在增加更多數(shù)據(jù)時(shí)會(huì)上升，但是一段變化后它的性能就會(huì)像一個(gè)高原一樣。

而數(shù)字化社會(huì)來(lái)臨了，數(shù)據(jù)量變得非常巨大，比如在電腦網(wǎng)站上、在手機(jī)軟件上以及其它數(shù)字化的服務(wù)，它們都能創(chuàng)建數(shù)據(jù)，同時(shí)便宜的相機(jī)被配置到移動(dòng)電話，還有加速儀及各類各樣的傳感器，同時(shí)在物聯(lián)網(wǎng)領(lǐng)域也收集到了越來(lái)越多的數(shù)據(jù)。僅僅在過(guò)去的20年里對(duì)于很多應(yīng)用，我們便收集到了大量的數(shù)據(jù)，遠(yuǎn)超過(guò)機(jī)器學(xué)習(xí)算法能夠高效發(fā)揮它們優(yōu)勢(shì)的規(guī)模。

如圖，如果訓(xùn)練一個(gè)小型的神經(jīng)網(wǎng)絡(luò)，那么這個(gè)性能可能會(huì)像黃色曲線表示那樣；如果訓(xùn)練一個(gè)稍微大一點(diǎn)的神經(jīng)網(wǎng)絡(luò)，比如說(shuō)一個(gè)中等規(guī)模的神經(jīng)網(wǎng)絡(luò)（藍(lán)色曲線），它在某些數(shù)據(jù)上面的性能也會(huì)更好一些；如果訓(xùn)練一個(gè)非常大的神經(jīng)網(wǎng)絡(luò)，它就會(huì)變成綠色曲線那樣，并且保持變得越來(lái)越好。

因此你會(huì)發(fā)現(xiàn)，如果想要獲得較高的性能體現(xiàn)，那么有兩個(gè)條件要達(dá)到，第一個(gè)是一個(gè)規(guī)模足夠大的神經(jīng)網(wǎng)絡(luò)，以發(fā)揮數(shù)據(jù)規(guī)模量巨大的優(yōu)點(diǎn)，另外一個(gè)是需要能畫到 $x$ 軸的這個(gè)位置，也就是需要大量數(shù)據(jù)。所以事實(shí)上如今最可靠的方法來(lái)在神經(jīng)網(wǎng)絡(luò)上獲得更好的性能，往往就是要么訓(xùn)練一個(gè)更大的神經(jīng)網(wǎng)絡(luò)，要么投入更多的數(shù)據(jù)，這只能在一定程度上起作用，因?yàn)樽罱K你耗盡了數(shù)據(jù)，或者最終你的網(wǎng)絡(luò)是如此大規(guī)模導(dǎo)致將要用太久的時(shí)間去訓(xùn)練，但是僅僅提升規(guī)模的的確確地讓我們?cè)谏疃葘W(xué)習(xí)的世界中摸索了很多時(shí)間。

然而真的只有這兩個(gè)因素嘛？只有數(shù)據(jù)和算法？

答案當(dāng)然是No，還有一個(gè)重要的原因就是不斷增長(zhǎng)的計(jì)算力（CPU和GPU的發(fā)展）。過(guò)去的幾年里有很多巨大的算法創(chuàng)新，其中很多算法創(chuàng)新都只是為了讓神經(jīng)網(wǎng)絡(luò)運(yùn)行得更快（相當(dāng)于提升計(jì)算力）。例如，一個(gè)巨大的突破就是用relu函數(shù)代替了sigmoid函數(shù)。這些新算法大大縮短了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練周期，讓我們可以訓(xùn)練更大的神經(jīng)網(wǎng)絡(luò)、利用上更多的訓(xùn)練數(shù)據(jù)。

除此之外，強(qiáng)大計(jì)算力的另一個(gè)很重要的原因是，它可以讓你更快的驗(yàn)證自己的想法，以便不斷試錯(cuò)，以得到更好的想法。例如，你有一個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)的想法，你用代碼實(shí)現(xiàn)了你的想法，然后運(yùn)行它，進(jìn)行訓(xùn)練，然后通過(guò)觀察它，分析運(yùn)行結(jié)果，然后你再修改自己的想法細(xì)節(jié)，然后再運(yùn)行再觀察再修改…。就這樣不停地來(lái)回試錯(cuò)，所以執(zhí)行這個(gè)試錯(cuò)的周期就很關(guān)鍵了。這也是為什么很多傳統(tǒng)方向的人會(huì)有一些鄙視我們方向，因?yàn)樗麄儼焉疃葘W(xué)習(xí)理解為調(diào)參…好氣啊我。

綜合以上，深度學(xué)習(xí)火起來(lái)的三大要素就是，數(shù)據(jù)，計(jì)算力，算法。而算法在不斷地被創(chuàng)新，訓(xùn)練數(shù)據(jù)不斷地在被收集，計(jì)算力CPU、GPU也在不斷地增強(qiáng)，所以你我要充滿信心，深度學(xué)習(xí)會(huì)越來(lái)越強(qiáng)大，越來(lái)越厲害，做更多的事！！！

參考文章

吳恩達(dá)——《神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)》視頻課程

總結(jié)

以上是生活随笔為你收集整理的深度学习入门笔记（一）：深度学习引言的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇：海外社交媒体SNS运营之社交媒体概览
下一篇：人脸检测流程