4.2深度卷積網(wǎng)絡(luò)

覺得有用的話,歡迎一起討論相互學習~Follow Me

2.9遷移學習

遷移學習的基礎(chǔ)知識已經(jīng)介紹過，本篇博文將介紹提高的部分。

提高遷移學習的速度

• 可以將遷移學習模型凍結(jié)的部分看做為一個函數(shù)，因為每次都要使用這個凍結(jié)模型的輸出值來訓練自己的網(wǎng)絡(luò)層，這樣從加載模型到預(yù)訓練模型都會耗費一定的時間。

• 為此，可以將目標訓練集通過凍結(jié)模型的輸出保存到本地，作為新的訓練數(shù)據(jù)集來訓練自己的網(wǎng)絡(luò)層，這樣會更加快捷。
  

  提高遷移學習的精度

• 如果自身的目標數(shù)據(jù)集與凍結(jié)模型所用的數(shù)據(jù)集差異較大或者自身的數(shù)據(jù)集越大，應(yīng)該使用源模型的前幾層作為凍結(jié)模型并且加大自身網(wǎng)絡(luò)的規(guī)模。
• 極端的情況是只是用凍結(jié)模型的下載的權(quán)重作為自身模型的初始化權(quán)重用它們代替隨機初始化

• NG認為機器視覺應(yīng)該是深度學習領(lǐng)域中運用遷移學習最廣泛的課題。

---

2.10數(shù)據(jù)增強(Data augmentation)

數(shù)據(jù)增強與改善過擬合

• 數(shù)據(jù)增強是一種常用的手段，來提高計算機視覺系統(tǒng)的表現(xiàn)。至少在計算機視覺方向，有更多的圖像數(shù)據(jù)往往意味著更好的效果。

  常用數(shù)據(jù)增強方法

  垂直鏡像對稱Mirroring

  隨機裁剪Random Cropping

• 雖然隨機裁剪不是一個完美的數(shù)據(jù)增強的方法，因為在隨機裁剪有可能裁剪的保留的不完全是目標部分。但是實際操作中構(gòu)成了數(shù)據(jù)集中真實圖像的大部分。
  

  旋轉(zhuǎn)Rotation

  局部扭曲Local warping

• 盡管在實踐中可以結(jié)合使用各種方法，但是由于過程太復(fù)雜，所以實際使用的很少。

  Color Shifting色彩轉(zhuǎn)換

• 給原始圖像中R,G,B三種通道中加上不同的失真值(偏置值)
• 例如如果同時給R和B通道中增加正偏置值，則整張圖片會有偏紫的效果。
• 在實踐中,對R,G,B三個通道的變化是基于特定概率分布的

• 這么做的原因是，可能識別的圖片中陽光有一點偏黃，或者燈光照明對整張圖片具有影響。
  

  PCA主成分分析增強Principles Components Analysis

• 簡單來說根據(jù)圖中顏色的采樣進行圖像增強。

• 例如:一張原始圖片中有較多的藍色和紅色成分，而綠色成分較少。則在圖像增強時，對藍色和紅色的增加多一點而對綠色的增加相對少一些。使圖像顏色總體保持不變。

  數(shù)據(jù)增強的并行實現(xiàn)

• 通常會通過創(chuàng)建多個線程來對數(shù)據(jù)集中的圖像數(shù)據(jù)進行讀取，形成一個個數(shù)據(jù)流。并且在讀取數(shù)據(jù)后可以使用隨機的數(shù)據(jù)增強的方法對圖片數(shù)據(jù)進行數(shù)據(jù)增強。而使用其他的線程實現(xiàn)模型的訓練和預(yù)測。模型的載入/數(shù)據(jù)增強/數(shù)據(jù)集的訓練過程可以并行實現(xiàn)。

  數(shù)據(jù)增強超參數(shù)

• 數(shù)據(jù)增強也會涉及到許多超參數(shù):例如隨機裁剪的比率，顏色變化的分布，旋轉(zhuǎn)的角度等等。這些都可以參考別人成果中的超參數(shù)選取，從別人的成果中汲取經(jīng)驗往往更有效率。當然，也可以根據(jù)自己的需要進行改造與再創(chuàng)新。

轉(zhuǎn)載于:https://www.cnblogs.com/cloud-ken/p/9368496.html

總結(jié)

以上是生活随笔為你收集整理的[DeeplearningAI笔记]卷积神经网络2.9-2.10迁移学习与数据增强的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。