當(dāng)前位置：首頁 > 人工智能 > pytorch >内容正文

pytorch

深度学习入门笔记（九）：深度学习数据处理

發(fā)布時(shí)間：2023/12/14 pytorch 33 豆豆

生活随笔收集整理的這篇文章主要介紹了深度学习入门笔记（九）：深度学习数据处理小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

歡迎關(guān)注WX公眾號(hào)：【程序員管小亮】

專欄——深度學(xué)習(xí)入門筆記

聲明

1）該文章整理自網(wǎng)上的大牛和機(jī)器學(xué)習(xí)專家無私奉獻(xiàn)的資料，具體引用的資料請看參考文獻(xiàn)。
2）本文僅供學(xué)術(shù)交流，非商用。所以每一部分具體的參考資料并沒有詳細(xì)對應(yīng)。如果某部分不小心侵犯了大家的利益，還望海涵，并聯(lián)系博主刪除。
3）博主才疏學(xué)淺，文中如有不當(dāng)之處，請各位指出，共同進(jìn)步，謝謝。
4）此屬于第一版本，若有錯(cuò)誤，還需繼續(xù)修正與增刪。還望大家多多指點(diǎn)。大家都共享一點(diǎn)點(diǎn)，一起為祖國科研的推進(jìn)添磚加瓦。

文章目錄

歡迎關(guān)注WX公眾號(hào)：【程序員管小亮】
- 專欄——深度學(xué)習(xí)入門筆記
- 聲明
- 深度學(xué)習(xí)入門筆記（九）：深度學(xué)習(xí)數(shù)據(jù)處理
- - 1、訓(xùn)練集，驗(yàn)證集，測試集
  - 2、偏差，方差
  - 3、機(jī)器學(xué)習(xí)基礎(chǔ)
  - 補(bǔ)充
- 推薦閱讀
- 參考文章

深度學(xué)習(xí)入門筆記（九）：深度學(xué)習(xí)數(shù)據(jù)處理

1、訓(xùn)練集，驗(yàn)證集，測試集

在深度學(xué)習(xí)的實(shí)踐中，如何配置 訓(xùn)練、驗(yàn)證 和測試數(shù)據(jù)集？比例是怎么樣的？哪一個(gè)數(shù)據(jù)集應(yīng)該更多一些？這個(gè)過程中能否做出正確決策，會(huì)在很大程度上決定我們能否創(chuàng)建高效的神經(jīng)網(wǎng)絡(luò)。訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，需要做出很多決策，例如：

神經(jīng)網(wǎng)絡(luò)分多少層

每層含有多少個(gè)隱藏單元

學(xué)習(xí)速率是多少

各層采用哪些激活函數(shù)

除了上面說的這些超參數(shù)之外，能否創(chuàng)建一個(gè)高質(zhì)量的 訓(xùn)練集，驗(yàn)證集 和 測試集 也有助于提高循環(huán)的效率。

這是個(gè)什么循環(huán)？我們在深度學(xué)習(xí)入門筆記（七）：深層神經(jīng)網(wǎng)絡(luò) 中說過這個(gè)循環(huán)，是 Idea—Code—Experiment—Idea 這個(gè)大循環(huán)，好的數(shù)據(jù)集可以提高這個(gè)過程的循環(huán)效率，從而加快實(shí)驗(yàn)的進(jìn)程，更快更好地得到最后的記過。

假設(shè)整個(gè)數(shù)據(jù)集用一個(gè)長方形表示，我們通常會(huì)將這些數(shù)據(jù)劃分成幾部分：一部分作為 訓(xùn)練集；一部分作為 簡單交叉驗(yàn)證集，有時(shí)也稱之為 驗(yàn)證集，一般都叫它 驗(yàn)證集（dev set），其實(shí)都是同一個(gè)概念；最后一部分則作為 測試集。

接下來，我們開始對 訓(xùn)練集 執(zhí)行算法，通過 驗(yàn)證集 選擇最好的模型，經(jīng)過充分驗(yàn)證，選定最終模型，然后就可以在 測試集 上進(jìn)行評估了，為了無偏評估算法的運(yùn)行狀況，選用的測試集應(yīng)該是沒有參與過訓(xùn)練過程的！！！

在機(jī)器學(xué)習(xí)發(fā)展的小數(shù)據(jù)量時(shí)代，常見做法是 將所有數(shù)據(jù)三七分，就是人們常說的70%訓(xùn)練集，30%測試集。如果明確設(shè)置了 驗(yàn)證集，也可以按照 60%訓(xùn)練集，20%驗(yàn)證集和20%測試集 來劃分。這是這些年機(jī)器學(xué)習(xí)領(lǐng)域普遍認(rèn)可的最好的實(shí)踐方法。

如果只有100條，1000條或者1萬條數(shù)據(jù)，那么上述比例劃分是非常合理的。但是在大數(shù)據(jù)時(shí)代，現(xiàn)在的數(shù)據(jù)量可能是百萬級(jí)別，那么 驗(yàn)證集 和 測試集 占數(shù)據(jù)總量的比例會(huì)趨向于變得更小。因?yàn)?驗(yàn)證集 的目的就是驗(yàn)證不同的算法，檢驗(yàn)?zāi)姆N算法更有效，因此，驗(yàn)證集 只要足夠大到能評估不同的算法，比如2個(gè)甚至10個(gè)不同算法，并迅速判斷出哪種算法更有效，不需要拿出20%的數(shù)據(jù)作為驗(yàn)證集。

比如現(xiàn)在有100萬條數(shù)據(jù)，那么取1萬條數(shù)據(jù)便足以進(jìn)行評估即可，找出其中表現(xiàn)最好的1-2種算法。同樣地，根據(jù)最終選擇的分類器，測試集 的主要目的是正確評估分類器的性能，所以，如果擁有百萬數(shù)據(jù)，我們只需要1000條數(shù)據(jù)，便足以評估單個(gè)分類器，并且準(zhǔn)確評估該分類器的性能。

假設(shè)我們有100萬條數(shù)據(jù)，其中1萬條作為 驗(yàn)證集，1萬條作為 測試集，100萬里取1萬，比例是1%，即：訓(xùn)練集占98%，驗(yàn)證集和測試集各占1%。
對于數(shù)據(jù)量過百萬的應(yīng)用，訓(xùn)練集可以占到99.5%，驗(yàn)證和測試集各占0.25%，或者驗(yàn)證集占0.4%，測試集占0.1%。

總結(jié)一下，在機(jī)器學(xué)習(xí)中，我們通常將樣本分成 訓(xùn)練集，驗(yàn)證集 和 測試集 三部分，數(shù)據(jù)集規(guī)模相對較小，適用傳統(tǒng)的劃分比例，數(shù)據(jù)集規(guī)模較大的，驗(yàn)證集 和 測試集 要小于數(shù)據(jù)總量的20%或10%，具體要怎么做？別著急，后面會(huì)給出如何劃分驗(yàn)證集和測試集的具體指導(dǎo)。

現(xiàn)代深度學(xué)習(xí)的另一個(gè)趨勢是 越來越多的人在訓(xùn)練和測試集分布不匹配的情況下進(jìn)行訓(xùn)練，假設(shè)你要構(gòu)建一個(gè)用戶可以上傳大量圖片的應(yīng)用程序，目的是找出并呈現(xiàn)所有貓咪圖片，可能你的用戶都是愛貓人士，訓(xùn)練集可能是從網(wǎng)上下載的貓咪圖片，而 驗(yàn)證集 和 測試集 是用戶在這個(gè)應(yīng)用上上傳的貓的圖片，就是說，訓(xùn)練集 可能是從網(wǎng)絡(luò)上抓下來的圖片，而 驗(yàn)證集 和 測試集 是用戶上傳的圖片。結(jié)果許多網(wǎng)頁上的貓咪圖片分辨率很高，很專業(yè)，后期制作精良，而用戶上傳的照片可能是用手機(jī)隨意拍攝的，像素低，比較模糊，這兩類數(shù)據(jù)有所不同，針對這種情況，根據(jù)經(jīng)驗(yàn)，建議大家要確保 驗(yàn)證集 和 測試集 的數(shù)據(jù)來自同一分布，學(xué)術(shù)說法就是 獨(dú)立同分布（IID）。

定義：獨(dú)立同分布（iid，independently identically distribution） 在概率統(tǒng)計(jì)理論中，指隨機(jī)過程中，任何時(shí)刻的取值都為隨機(jī)變量，如果這些隨機(jī)變量服從同一分布，并且互相獨(dú)立，那么這些隨機(jī)變量是獨(dú)立同分布。

但由于深度學(xué)習(xí)算法需要 大量的訓(xùn)練數(shù)據(jù)，為了獲取更大規(guī)模的訓(xùn)練數(shù)據(jù)集，我們可以采用當(dāng)前流行的各種創(chuàng)意策略，例如，網(wǎng)頁抓取，代價(jià)就是訓(xùn)練集數(shù)據(jù)與驗(yàn)證集和測試集數(shù)據(jù)有可能不是來自同一分布。但只要遵循這個(gè)經(jīng)驗(yàn)法則，你就會(huì)發(fā)現(xiàn)機(jī)器學(xué)習(xí)算法會(huì)變得更快。

最后一點(diǎn)，就算沒有測試集也不要緊，測試集的目的是對最終所選定的神經(jīng)網(wǎng)絡(luò)系統(tǒng)做出無偏估計(jì)，如果不需要無偏估計(jì)，也可以不設(shè)置測試集。所以如果只有 驗(yàn)證集，沒有 測試集，我們要做的就是，在 訓(xùn)練集 上訓(xùn)練，嘗試不同的模型框架，在 驗(yàn)證集 上評估這些模型，然后迭代并選出適用的模型。因?yàn)?驗(yàn)證集 中已經(jīng)涵蓋測試集數(shù)據(jù)，其不再提供無偏性能評估。當(dāng)然，如果你不需要無偏估計(jì)，那就再好不過了。

在機(jī)器學(xué)習(xí)中，如果只有一個(gè) 訓(xùn)練集 和一個(gè) 驗(yàn)證集，而沒有獨(dú)立的測試集，遇到這種情況，訓(xùn)練集 還被人們稱為 訓(xùn)練集，而 驗(yàn)證集 則被稱為 測試集，不過在實(shí)際應(yīng)用中，人們只是把 測試集 當(dāng)成 簡單交叉驗(yàn)證集 使用，并沒有完全實(shí)現(xiàn)該術(shù)語的“驗(yàn)證”功能，因?yàn)樗麄儼?驗(yàn)證集 數(shù)據(jù)過度擬合到了 測試集 中。

如果某團(tuán)隊(duì)跟你說他們只設(shè)置了一個(gè) 訓(xùn)練集 和一個(gè) 測試集，你要小心了！！！要想他們是不是真的有 訓(xùn)練驗(yàn)證集，因?yàn)樗麄儼?驗(yàn)證集 數(shù)據(jù)過度擬合到了 測試集 中，讓這些團(tuán)隊(duì)改變叫法，改稱其為 訓(xùn)練驗(yàn)證集，而不是 訓(xùn)練測試集，可能不太容易。即便 訓(xùn)練驗(yàn)證集 在專業(yè)用詞上更準(zhǔn)確。實(shí)際上，如果你不需要無偏評估算法性能，那么這樣是可以的。

所以說，搭建 訓(xùn)練驗(yàn)證集 和 測試集 能夠加速神經(jīng)網(wǎng)絡(luò)的集成，也可以更有效地衡量算法地偏差和方差，從而幫助我們更高效地選擇合適方法來優(yōu)化算法。

有的同學(xué)還是不懂這個(gè)數(shù)據(jù)集都是什么意思，尤其是驗(yàn)證集和測試集，來看一個(gè)例子：

訓(xùn)練集——課本；學(xué)生學(xué)習(xí)并根據(jù)課本里的內(nèi)容來掌握知識(shí)。
驗(yàn)證集——作業(yè)；通過學(xué)生完成作業(yè)的水平，可以知道學(xué)習(xí)質(zhì)量的好壞。
測試集——考試；通過學(xué)生考試的結(jié)果（考的題是平常都沒有見過的），來考察學(xué)生舉一反三的能力，也可以知道學(xué)習(xí)質(zhì)量的好壞。

例子不是特別嚴(yán)謹(jǐn)，只是提供一種理解的方式！

2、偏差，方差

如果你細(xì)心的話，就會(huì)注意到，幾乎所有機(jī)器學(xué)習(xí)從業(yè)人員都期望深刻理解偏差和方差（我也是這樣的=-=），這兩個(gè)概念易學(xué)難精，即使你認(rèn)為已經(jīng)理解了偏差和方差的基本概念，卻總有一些意想不到的新東西出現(xiàn)。關(guān)于深度學(xué)習(xí)的誤差問題，另一個(gè)趨勢是對偏差和方差的權(quán)衡研究甚淺，你可能聽說過這兩個(gè)概念，但深度學(xué)習(xí)的誤差很少權(quán)衡二者，我們總是分別考慮偏差和方差，卻很少放在一起。

如上圖，假設(shè)這就是數(shù)據(jù)集，如果想要對這個(gè)數(shù)據(jù)集擬合一條直線，可能得到一個(gè)邏輯回歸擬合，但它并不能很好地?cái)M合該數(shù)據(jù)，這是 高偏差（high bias） 的情況，我們稱之為 欠擬合（underfitting）。

相反的如果我們擬合一個(gè)非常復(fù)雜的分類器，比如深度神經(jīng)網(wǎng)絡(luò)或含有隱藏單元的神經(jīng)網(wǎng)絡(luò)，可能就非常適用于這個(gè)數(shù)據(jù)集，但是這看起來也不是一種很好的擬合方式，即 高方差（high variance） 的情況，我們稱之為 過擬合（overfitting）。

在兩者之間，可能還有一些像下面三個(gè)圖的中間圖這樣的，復(fù)雜程度適中，數(shù)據(jù)擬合適度的分類器，這個(gè)數(shù)據(jù)擬合看起來更加合理，我們稱之為 適度擬合（just right），是介于 過擬合 和 欠擬合 中間的一類。

在這樣一個(gè)只有 $x_1$ 和 $x_2$ 兩個(gè)特征的二維數(shù)據(jù)集中，我們可以繪制數(shù)據(jù)，將偏差和方差可視化。在多維空間數(shù)據(jù)中，繪制數(shù)據(jù)和可視化分割邊界無法實(shí)現(xiàn)，但我們可以通過幾個(gè)指標(biāo)，來研究偏差和方差。

還是沿用貓咪圖片分類這個(gè)例子（深度學(xué)習(xí)入門筆記（一）：深度學(xué)習(xí)引言），左邊一張是貓咪圖片，右邊一張不是。理解偏差和方差的兩個(gè)關(guān)鍵數(shù)據(jù)是 訓(xùn)練集誤差（Train set error） 和 驗(yàn)證集誤差（Dev set error），為了方便論證，假設(shè)我們可以辨別圖片中的小貓，用肉眼識(shí)別的結(jié)果幾乎是不會(huì)出錯(cuò)的。

假定 訓(xùn)練集誤差 是1%，為了方便論證，假定 驗(yàn)證集誤差 是11%，可以看出 訓(xùn)練集 設(shè)置得非常好，而 驗(yàn)證集 設(shè)置相對較差，可能是 過度擬合 了 訓(xùn)練集，在某種程度上，驗(yàn)證集 并沒有充分利用 交叉驗(yàn)證集 的作用，像這種情況，我們稱之為 高方差。

通過查看 訓(xùn)練集誤差 和 驗(yàn)證集誤差，我們便可以診斷算法是否具有 高方差。也就是說衡量 訓(xùn)練集 和 驗(yàn)證集誤差 就可以得出不同結(jié)論。

假設(shè) 訓(xùn)練集誤差 是15%，我們把 訓(xùn)練集誤差 寫在首行，驗(yàn)證集誤差 是16%。算法并沒有在 訓(xùn)練集 中得到很好訓(xùn)練，如果訓(xùn)練數(shù)據(jù)的擬合度不高，就是數(shù)據(jù) 欠擬合，就可以說這種算法 偏差比較高。相反，它對于 驗(yàn)證集 產(chǎn)生的結(jié)果卻是合理的，驗(yàn)證集 中的錯(cuò)誤率只比訓(xùn)練集的多了1%，所以這種算法 偏差高，因?yàn)樗踔敛荒軘M合訓(xùn)練集，這與下圖的最左邊的圖片相似。

再舉一個(gè)例子，訓(xùn)練集誤差 是15%，偏差相當(dāng)高，但是，驗(yàn)證集 的評估結(jié)果更糟糕，錯(cuò)誤率達(dá)到30%，在這種情況下，我會(huì)認(rèn)為這種算法 偏差高，因?yàn)樗?訓(xùn)練集 上結(jié)果不理想，而且 方差也很高，這是 方差偏差都很糟糕 的情況，不要覺得方差好像是更高。。。

再看最后一個(gè)例子，訓(xùn)練集誤差 是0.5%，驗(yàn)證集誤差 是1%，用戶看到這樣的結(jié)果會(huì)很開心，貓咪分類器只有1%的錯(cuò)誤率，偏差和方差都很低。

這些分析都是基于假設(shè)預(yù)測的，假設(shè)人眼辨別的錯(cuò)誤率接近0%，一般來說，最優(yōu)誤差 也被稱為 貝葉斯誤差，所以，最優(yōu)誤差 接近0%。但是如果 最優(yōu)誤差 或 貝葉斯誤差 非常高，比如時(shí)15%。再看看這個(gè)分類器（訓(xùn)練誤差15%，驗(yàn)證誤差16%），15%的錯(cuò)誤率對 訓(xùn)練集 來說也是非常合理的，偏差不高，方差也非常低。

小結(jié)一下：要看我們的最優(yōu)誤差是多少，才能判斷你的偏差和方差！！！

當(dāng)所有分類器都不適用時(shí)，如何分析偏差和方差呢？比如，圖片很模糊，即使是人眼，或者沒有系統(tǒng)可以準(zhǔn)確無誤地識(shí)別圖片，在這種情況下，最優(yōu)誤差 會(huì)更高，那么分析過程就要做些改變了。

以上分析的前提都是 假設(shè)基本誤差很小，訓(xùn)練集和驗(yàn)證集數(shù)據(jù)來自相同分布，如果沒有這些假設(shè)作為前提，分析過程更加復(fù)雜，后面會(huì)討論這個(gè)問題的。

有一個(gè)疑問出現(xiàn)了，偏差和方差都高是什么樣子呢？這種情況對于兩個(gè)衡量標(biāo)準(zhǔn)來說都是非常糟糕的。

之前講過，這樣的分類器，會(huì)產(chǎn)生 高偏差，偏差高 是因?yàn)樗鼛缀跏且粭l線性分類器，并未擬合數(shù)據(jù)，像這種接近線性的分類器，數(shù)據(jù)擬合度低。

但是如果稍微改變一下分類器，用紫色筆畫出，它會(huì) 過度擬合 部分?jǐn)?shù)據(jù)。用紫色線畫出的分類器具有 高偏差 和 高方差：偏差高 是因?yàn)樗鼛缀跏且粭l線性分類器，并未擬合數(shù)據(jù)；方差高 是因?yàn)樗`活性太高以致擬合了這兩個(gè)錯(cuò)誤樣本和中間這些活躍數(shù)據(jù)。

這看起來有些不自然，從兩個(gè)維度數(shù)據(jù)上看，怎么看都不太自然，但對于高維數(shù)據(jù)，有些數(shù)據(jù)區(qū)域 偏差高，有些數(shù)據(jù)區(qū)域 方差高，所以看起來就不會(huì)那么牽強(qiáng)了。

總結(jié)：擬合地好是最好的，但是過擬合是方差大，欠擬合是偏差大，還有一種可能是兩個(gè)差都大！！！

3、機(jī)器學(xué)習(xí)基礎(chǔ)

下圖就是在訓(xùn)練神經(jīng)網(wǎng)絡(luò)用到的基本方法：（嘗試這些方法，可能有用，可能沒用）

吳恩達(dá)老師手稿：

初始模型訓(xùn)練完成后，首先要知道算法的偏差高不高，如果 偏差較高，試著評估 訓(xùn)練集 或 訓(xùn)練數(shù)據(jù) 的性能。如果偏差的確很高，甚至無法擬合訓(xùn)練集，那么要做的就是選擇一個(gè)新的網(wǎng)絡(luò)，比如含有更多隱藏層或者隱藏單元的網(wǎng)絡(luò)，或者花費(fèi)更多時(shí)間來訓(xùn)練網(wǎng)絡(luò)，或者嘗試更先進(jìn)的優(yōu)化算法，后面會(huì)講到。訓(xùn)練學(xué)習(xí)算法時(shí)，要不斷嘗試這些方法，直到解決掉偏差問題，這是 最低標(biāo)準(zhǔn)，反復(fù)嘗試，直到可以擬合數(shù)據(jù)為止，至少能夠擬合訓(xùn)練集。當(dāng)然你也可以嘗試其他方法，可能有用，也可能沒用。

博主注：訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，建議先盡量過擬合，再通過各種方法解決過擬合的問題，這樣的代價(jià)更小，成功的可能性更大。

如果網(wǎng)絡(luò)足夠大，通常可以很好地?cái)M合 訓(xùn)練集，實(shí)在不行的話，只要你能擴(kuò)大網(wǎng)絡(luò)規(guī)模，即使圖片很模糊，至少可以很好地?cái)M合 訓(xùn)練集，或者 過擬合 訓(xùn)練集。一旦偏差降低到可以接受的數(shù)值，檢查一下方差有沒有問題，為了評估方差，我們要查看 驗(yàn)證集 的性能，從一個(gè)性能理想的 訓(xùn)練集 推斷出 驗(yàn)證集 的性能是否也理想，如果 方差高，最好的解決辦法就是采用更多數(shù)據(jù)，讓網(wǎng)絡(luò)見識(shí)到更多的數(shù)據(jù)類型，擁有更強(qiáng)的擬合泛化能力。如果你能做到這一點(diǎn)，會(huì)有一定的幫助，但有時(shí)候，無法獲得更多數(shù)據(jù)，我們也可以嘗試通過 正則化 來減少 過擬合，這個(gè)下一個(gè)筆記會(huì)講。

有同學(xué)抱怨麻煩，沒法子，有時(shí)候我們不得不反復(fù)嘗試這些操作，但是，如果能找到更合適的神經(jīng)網(wǎng)絡(luò)框架，有時(shí)它可能會(huì)一箭雙雕，同時(shí)減少方差和偏差。如何實(shí)現(xiàn)呢？想系統(tǒng)地說出做法很難，總之就是不斷重復(fù)嘗試，直到找到一個(gè) 低偏差，低方差 的框架，這時(shí)你就成功了。

有兩點(diǎn)需要特別注意：

第一點(diǎn)，高偏差 和 高方差 是兩種不同的情況，所以后續(xù)要嘗試的方法也可能完全不同，通常會(huì)用 訓(xùn)練驗(yàn)證集 來診斷算法是否存在偏差或方差問題，然后根據(jù)結(jié)果選擇嘗試部分方法。舉個(gè)例子，如果算法存在 高偏差 問題，準(zhǔn)備更多訓(xùn)練數(shù)據(jù)其實(shí)也沒什么用處，至少這不是更有效的方法，所以一定要清楚存在的問題是偏差還是方差，還是兩者都有問題，明確這一點(diǎn)有助于我們選擇出最有效的方法，不然就相當(dāng)于做無用功，瞎忙乎。

第二點(diǎn)，在機(jī)器學(xué)習(xí)的初期階段，關(guān)于所謂的 偏差方差權(quán)衡 的討論屢見不鮮，原因是能嘗試的方法有很多。可以增加偏差，減少方差，也可以減少偏差，增加方差，但是在深度學(xué)習(xí)的早期階段，沒有太多工具可以做到只減少偏差或方差卻不影響到另一方。然而當(dāng)前的深度學(xué)習(xí)和大數(shù)據(jù)時(shí)代，只要持續(xù)訓(xùn)練一個(gè)更大的網(wǎng)絡(luò)，只要準(zhǔn)備了更多數(shù)據(jù)，那么也并非只有這兩種情況，簡單情況下，只要正則適度，通常構(gòu)建一個(gè)更大的網(wǎng)絡(luò)便可以，在不影響方差的同時(shí)減少偏差，而采用更多數(shù)據(jù)通常可以在不過多影響偏差的同時(shí)減少方差。這兩步實(shí)際要做的工作是：訓(xùn)練網(wǎng)絡(luò)，選擇網(wǎng)絡(luò)或者準(zhǔn)備更多數(shù)據(jù)，現(xiàn)在有了一個(gè)可以做到在減少偏差或方差的同時(shí)，不對另一方產(chǎn)生過多不良影響的工具。這就是深度學(xué)習(xí)對監(jiān)督式學(xué)習(xí)大有裨益的一個(gè)重要原因，也是不用太過關(guān)注如何 平衡偏差和方差 的一個(gè)重要原因。

最終，我們會(huì)得到一個(gè)非常規(guī)范化的網(wǎng)絡(luò)！！！

補(bǔ)充

正則化，是一種非常實(shí)用的減少方差的方法，正則化 時(shí)會(huì)出現(xiàn) 偏差方差權(quán)衡 問題，偏差可能略有增加，但是如果網(wǎng)絡(luò)足夠大的話，增幅通常不會(huì)太高，從而完美地解決 方差大 的問題。

參考文章

吳恩達(dá)——《神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)》視頻課程

總結(jié)

以上是生活随笔為你收集整理的深度学习入门笔记（九）：深度学习数据处理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇：笔记本电脑如何用c语言开无线网卡,笔记本
下一篇：深度学习入门笔记（十四）：Softmax