前言：

在計(jì)算機(jī)視覺(jué)方向，數(shù)據(jù)增強(qiáng)的本質(zhì)是人為地引入人視覺(jué)上的先驗(yàn)知識(shí)，可以很好地提升模型的性能，目前基本成為模型的標(biāo)配。最近幾年逐漸出了很多新的數(shù)據(jù)增強(qiáng)方法，在本文將對(duì)數(shù)據(jù)增強(qiáng)做一個(gè)總結(jié)。

本文介紹了數(shù)據(jù)增強(qiáng)的作用，數(shù)據(jù)增強(qiáng)的分類，數(shù)據(jù)增強(qiáng)的常用方法，一些特殊的方法，如Cutout，Random Erasing，Mixup，Hide-and-Seek，CutMix，GridMask，F(xiàn)enceMask和KeepAugment等方法，還介紹了一些基于多樣本的增強(qiáng)方法，如SMOTE, mosaic和SamplePairing。

值得一提的是，在這些論文中，幾乎每一篇都使用CNN可視化方法來(lái)證明其增強(qiáng)方法的有效性，在某種程度上來(lái)說(shuō)也是為了增加工作量和字?jǐn)?shù)。對(duì)CNN可視化方法感興趣的讀者可在CV技術(shù)指南中閱讀這系列總結(jié)文章。

《CNN可視化技術(shù)總結(jié)》

數(shù)據(jù)增強(qiáng)的作用

1.避免過(guò)擬合。當(dāng)數(shù)據(jù)集具有某種明顯的特征，例如數(shù)據(jù)集中圖片基本在同一個(gè)場(chǎng)景中拍攝，使用Cutout方法和風(fēng)格遷移變化等相關(guān)方法可避免模型學(xué)到跟目標(biāo)無(wú)關(guān)的信息。

2.提升模型魯棒性，降低模型對(duì)圖像的敏感度。當(dāng)訓(xùn)練數(shù)據(jù)都屬于比較理想的狀態(tài)，碰到一些特殊情況，如遮擋，亮度，模糊等情況容易識(shí)別錯(cuò)誤，對(duì)訓(xùn)練數(shù)據(jù)加上噪聲，掩碼等方法可提升模型魯棒性。

3.增加訓(xùn)練數(shù)據(jù)，提高模型泛化能力。

4.避免樣本不均衡。在工業(yè)缺陷檢測(cè)方面，醫(yī)療疾病識(shí)別方面，容易出現(xiàn)正負(fù)樣本極度不平衡的情況，通過(guò)對(duì)少樣本進(jìn)行一些數(shù)據(jù)增強(qiáng)方法，降低樣本不均衡比例。

數(shù)據(jù)增強(qiáng)的分類

根據(jù)數(shù)據(jù)增強(qiáng)方式，可分為兩類：在線增強(qiáng)和離線增強(qiáng)。這兩者的區(qū)別在于離線增強(qiáng)是在訓(xùn)練前對(duì)數(shù)據(jù)集進(jìn)行處理，往往能得到多倍的數(shù)據(jù)集，在線增強(qiáng)是在訓(xùn)練時(shí)對(duì)加載數(shù)據(jù)進(jìn)行預(yù)處理，不改變訓(xùn)練數(shù)據(jù)的數(shù)量。

離線增強(qiáng)一般用于小型數(shù)據(jù)集，在訓(xùn)練數(shù)據(jù)不足時(shí)使用，在線增強(qiáng)一般用于大型數(shù)據(jù)集。

常用方法

比較常用的幾何變換方法主要有：翻轉(zhuǎn)，旋轉(zhuǎn)，裁剪，縮放，平移，抖動(dòng)。值得注意的是，在某些具體的任務(wù)中，當(dāng)使用這些方法時(shí)需要主要標(biāo)簽數(shù)據(jù)的變化，如目標(biāo)檢測(cè)中若使用翻轉(zhuǎn)，則需要將gt框進(jìn)行相應(yīng)的調(diào)整。

比較常用的像素變換方法有：加椒鹽噪聲，高斯噪聲，進(jìn)行高斯模糊，調(diào)整HSV對(duì)比度，調(diào)節(jié)亮度，飽和度，直方圖均衡化，調(diào)整白平衡等。

這些常用方法都比較簡(jiǎn)單，這里不多贅述。

Cutout(2017)

該方法來(lái)源于論文《Improved Regularization of Convolutional Neural Networks with Cutout》

在一些人體姿態(tài)估計(jì)，人臉識(shí)別，目標(biāo)跟蹤，行人重識(shí)別等任務(wù)中常常會(huì)出現(xiàn)遮擋的情況，為了提高模型的魯棒性，提出了使用Cutout數(shù)據(jù)增強(qiáng)方法。該方法的依據(jù)是Cutout能夠讓CNN更好地利用圖像的全局信息，而不是依賴于一小部分特定的視覺(jué)特征。

做法：對(duì)一張圖像隨機(jī)選取一個(gè)小正方形區(qū)域，在這個(gè)區(qū)域的像素值設(shè)置為0或其它統(tǒng)一的值。注：存在50%的概率不對(duì)圖像使用Cutout。

效果圖如下：

?

官方代碼：

https://github.com/uoguelph-mlrg/Cutout

Random Erasing(2017)

該方法來(lái)源于論文《Random Erasing Data Augmentation》

這個(gè)方法有點(diǎn)類似于Cutout，這兩者同一年發(fā)表的。與Cutout不同的是，Random Erasing掩碼區(qū)域的長(zhǎng)寬，以及區(qū)域中像素值的替代值都是隨機(jī)的，Cutout是固定使用正方形，替代值都使用同一個(gè)。

具體算法如下：

?

其效果圖如下：

?

官方代碼：

https://github.com/zhunzhong07/Random-Erasing

Mixup(2018)

該方法來(lái)源于論文《mixup: BEYOND EMPIRICAL RISK MINIMIZATION》

主要思想是將在數(shù)據(jù)集中隨機(jī)選擇兩張圖片按照一定比例融合，包括標(biāo)簽值。在論文中給出了代碼，看一眼代碼即可很好的理解。

?

效果圖如下：

一張海上帆船與熊貓的融合。

?

官方代碼：

https://github.com/facebookresearch/mixup-cifar10

Hide-and-Seek(2018)

該方法來(lái)自論文《Hide-and-Seek: A Data Augmentation Technique for Weakly-SupervisedLocalization and Beyond》

其主要思想就是將圖片劃分為S x S的網(wǎng)格，每個(gè)網(wǎng)格按一定的概率（0.5）進(jìn)行掩碼。其中不可避免地會(huì)完全掩碼掉一個(gè)完整的小目標(biāo)。當(dāng)這種思想用于行為識(shí)別時(shí)，做法是將視頻幀分成多個(gè)小節(jié)，每一小節(jié)按一定的概率進(jìn)行掩碼。

注：論文提到掩碼所使用的替代值會(huì)對(duì)識(shí)別有一定的影響，經(jīng)過(guò)一些理論計(jì)算，采用整個(gè)圖像的像素值的均值的影響最小。

在CNN可視化技術(shù)總結(jié)中，我們提到CNN可視化具有提高方法可信度，增加工作量，增加字?jǐn)?shù)的作用，這點(diǎn)在這篇論文中得到了很好的體現(xiàn)，論文使用了CAM和卷積核可視化等可視化方法來(lái)分析該算法的合理性。

《CNN可視化技術(shù)總結(jié)--卷積核可視化》

《CNN可視化技術(shù)總結(jié)--類可視化》

?

效果：

?

官方代碼：

https://github.com/kkanshul/Hide-and-Seek

CutMix(2019)

該方法來(lái)源于《CutMix: Regularization Strategy to Train Strong Classififiers with Localizable Features》

該方法結(jié)合了Cutout、Random erasing和Mixup三者的思想，做了一些中間調(diào)和的改變，同樣是選擇一個(gè)小區(qū)域，進(jìn)行掩碼，但掩碼的方式卻是將另一張圖片的該區(qū)域覆蓋到這里。看圖更能理解這種方法。

?

?

在理解上面這個(gè)圖后，實(shí)現(xiàn)方式比較簡(jiǎn)單，公式如下：

?

關(guān)于這個(gè)掩碼區(qū)域大小的設(shè)置，使用如下公式確定：

其中寬和高的大小始終滿足后面這個(gè)等式。

?

效果如下：

?

官方代碼：

https://github.com/clovaai/CutMix-PyTorch

GridMask(2020)

該方法來(lái)源于《GridMask Data Augmentation》

主要思想是對(duì)前幾種方法的改進(jìn)，由于前幾種對(duì)于掩碼區(qū)域的選擇都是隨機(jī)的，因此容易出現(xiàn)對(duì)重要部位全掩蓋的情況。而GridMask則最多出現(xiàn)部分掩蓋，且?guī)缀跻欢〞?huì)出現(xiàn)部分掩蓋。使用的方式是排列的正方形區(qū)域來(lái)進(jìn)行掩碼。

?

具體實(shí)現(xiàn)是通過(guò)設(shè)定每個(gè)小正方形的邊長(zhǎng)，兩個(gè)掩碼之間的距離d來(lái)確定掩碼，從而控制掩碼細(xì)粒度。

?

效果如下：

?

官方代碼：

https://github.com/akuxcw/GridMask

FenceMask(2020)

該方法來(lái)源于《FenceMask: A Data Augmentation Approach for Pre-extracted Image Features》

該方法是對(duì)前面GridMask的改進(jìn)，認(rèn)為使用正方形的掩碼會(huì)對(duì)小目標(biāo)有很大的影響。因此提出了更好的形狀，F(xiàn)enceMask具有更好的細(xì)粒度。

?

效果對(duì)比如下：

?

KeepAugment(2020)

該方法來(lái)源于《KeepAugment: A Simple Information-Preserving Data Augmentation Approach》

主要思想是對(duì)前幾種方法中隨機(jī)選擇掩碼區(qū)域的改進(jìn)，通過(guò)得出Saliency map，分析出最不重要的區(qū)域，選擇這個(gè)區(qū)域進(jìn)行Cutout，或者分析出最重要區(qū)域進(jìn)行CutMix。

?

saliency map區(qū)域的計(jì)算方式與類可視化的方法一致，通過(guò)計(jì)算回傳梯度，獲得每個(gè)像素值的梯度，從而確定每個(gè)像素值對(duì)類別的影響程度。而最重要區(qū)域和最不重要區(qū)域的劃分是通過(guò)這個(gè)區(qū)域的所有梯度值之和大于或小于某個(gè)相應(yīng)的閾值來(lái)確定。

具體如何計(jì)算saliency map請(qǐng)閱讀《CNN可視化技術(shù)總結(jié)--類可視化》。

算法如下：(其中Selcetive-cut是使用Cutout, Selective-paste是使用CutMix)

?

效果如下：

?

其它的數(shù)據(jù)增強(qiáng)方法

RandAugment，F(xiàn)astAugment，AutoAugment這幾種方式都是屬于構(gòu)造一個(gè)數(shù)據(jù)增強(qiáng)方式的集合，采用強(qiáng)化學(xué)習(xí)的方式搜索適合指定數(shù)據(jù)集的數(shù)據(jù)增強(qiáng)方法。這些方法的最大特點(diǎn)是成本大，需要的時(shí)間很長(zhǎng)很長(zhǎng)，因此這里不多介紹。

注：前面提到的那些方法，基本都是接近零成本，更具有普遍使用的特性，這里幾種只適合貴族。

此外還有通過(guò)GAN來(lái)實(shí)現(xiàn)風(fēng)格遷移等數(shù)據(jù)增強(qiáng)方式。

多樣本數(shù)據(jù)增強(qiáng)方法

前面提到的方法除了CutMix和Mixup外，基本都屬于單樣本增強(qiáng)，此外還有多樣本增強(qiáng)方法，主要原理是利用多個(gè)樣本來(lái)產(chǎn)生新的樣本。

SMOTE--該方法來(lái)自遙遠(yuǎn)的2002年。主要應(yīng)用在小型數(shù)據(jù)集上來(lái)獲得新的樣本，實(shí)現(xiàn)方式是隨機(jī)選擇一個(gè)樣本，計(jì)算它與其它樣本的距離，得到K近鄰，從K近鄰中隨機(jī)選擇多個(gè)樣本構(gòu)建出新樣本。之所以不提論文中的構(gòu)建方式，是因?yàn)樵摲椒ú⒉皇怯糜趫D像，但讀者可自主設(shè)計(jì)出圖像的構(gòu)建方式。

Mosaic--該方法來(lái)源于YOLO_v4，原理是使用四張圖片拼接成一張圖片。這樣做的好處是圖片的背景不再是單一的場(chǎng)景，而是在四種不同的場(chǎng)景下，且當(dāng)使用BN時(shí)，相當(dāng)于每一層同時(shí)在四張圖片上進(jìn)行歸一化，可大大減少batch-size。

SamplePairing--該方法的原理是從訓(xùn)練集中隨機(jī)選擇兩張圖片，經(jīng)過(guò)幾何變化的增強(qiáng)方法后，逐像素取平均值的方式合成新的樣本。具體如下圖所示：

?

總結(jié)

本文介紹了常用的數(shù)據(jù)增強(qiáng)方法，幾種特殊的增強(qiáng)方法，幾種多樣本增強(qiáng)方法。

理論上來(lái)說(shuō)，數(shù)據(jù)增強(qiáng)方法還應(yīng)該包括對(duì)一些用于解決正負(fù)樣本不均衡的方法，如hard negative example mining，focal loss等。

此外在網(wǎng)絡(luò)中使用DropOut , DropConnect 和DropBlock，也應(yīng)該算是數(shù)據(jù)增強(qiáng)方法，因?yàn)樗鼈兣cCutout，Hide-and-Seek和GridMask等方法類似，同樣是選擇性丟棄一些數(shù)據(jù)。

注：在CV技術(shù)指南中回復(fù)“數(shù)據(jù)增強(qiáng)”可獲取數(shù)據(jù)增強(qiáng)相關(guān)13篇論文。

參考論文

Improved Regularization of Convolutional Neural Networks with Cutout
Random Erasing Data Augmentation
mixup: BEYOND EMPIRICAL RISK MINIMIZATION
Hide-and-Seek: A Data Augmentation Technique for Weakly-Supervised Localization and Beyond
CutMix: Regularization Strategy to Train Strong Classififiers with Localizable Features
GridMask Data Augmentation
FenceMask: A Data Augmentation Approach for Pre-extracted Image Features
KeepAugment: A Simple Information-Preserving Data Augmentation Approach
SMOTE: Synthetic Minority Over-sampling Technique
YOLOv4: Optimal Speed and Accuracy of Object Detection
Data Augmentation by Pairing Samples for Images Classifification

其它技術(shù)總結(jié)內(nèi)容

CNN結(jié)構(gòu)演變總結(jié)（一）經(jīng)典模型

CNN結(jié)構(gòu)演變總結(jié)（二）輕量化模型

CNN結(jié)構(gòu)演變總結(jié)（三）設(shè)計(jì)原則

CNN可視化技術(shù)總結(jié)(一)-特征圖可視化

CNN可視化技術(shù)總結(jié)（二）--卷積核可視化

CNN可視化技術(shù)總結(jié)（三）--類可視化

CNN可視化技術(shù)總結(jié)（四）--可視化工具與項(xiàng)目

池化技術(shù)總結(jié)

NMS總結(jié)

本文來(lái)源于公眾號(hào)《CV技術(shù)指南》的技術(shù)總結(jié)部分，更多相關(guān)技術(shù)總結(jié)請(qǐng)掃描文末二維碼關(guān)注公眾號(hào)。

?

總結(jié)

以上是生活随笔為你收集整理的数据增强方法总结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。