在碎片化閱讀充斥眼球的時(shí)代，越來(lái)越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。

在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。

點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第?47?篇文章

關(guān)于作者：陳泰紅，小米高級(jí)算法工程師，研究方向?yàn)槿四槞z測(cè)識(shí)別，手勢(shì)識(shí)別與跟蹤。

■?論文 | mixup: Beyond Empirical Risk Minimization

■ 鏈接 | https://www.paperweekly.site/papers/1605

論文動(dòng)機(jī)

神經(jīng)網(wǎng)絡(luò)訓(xùn)練需要海量的人工標(biāo)注數(shù)據(jù)集，一般的數(shù)據(jù)增廣方式是裁剪、翻轉(zhuǎn)以及旋轉(zhuǎn)、尺度變化。之前在 arXiv 上看到過(guò) IBM的一篇文章?SamplePairing：針對(duì)圖像處理領(lǐng)域的高效數(shù)據(jù)增強(qiáng)方式，該論文主要是關(guān)于數(shù)據(jù)增強(qiáng)方式，沒(méi)有公式?jīng)]有網(wǎng)絡(luò)架構(gòu)，只通過(guò)簡(jiǎn)單的相加求平均值方式。

而在最近公布的 ICLR 2018 入圍名單中，另一篇數(shù)據(jù)增廣相關(guān)論文脫穎而出，而 SamplePairing 出局。仔細(xì)閱讀 Mixup 的論文，發(fā)現(xiàn)它其實(shí)是對(duì)?SamplePairing 的更進(jìn)一步延伸。

名詞解釋

Empirical Risk Minimization (ERM)：機(jī)器學(xué)習(xí)的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，ERM 策略認(rèn)為，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的模型是最優(yōu)化的模型。可參照李航的《統(tǒng)計(jì)學(xué)習(xí)方法》[1]?進(jìn)行理解。?

Βeta分布：既然概率論中的貝塔分布，是指一組定義在是指一組定義在（0，1）區(qū)間的連續(xù)概率分布，有兩個(gè)參數(shù) α 和 β。論文中 α 和 β 相等。Βeta 分布的定義、概率密度函數(shù)和性質(zhì)可參考 PRML [2]。?

為了理解 Beta 分布，使用 Python 可視化 Beta 的模型。論文選擇的超參數(shù)是 α=0.2 和 0.4，此處主要觀察 α 變化對(duì)應(yīng)的概率分布變化。

from scipy.stats import beta
import matplotlib.pyplot as plt
import numpy as np
x = np.linspace(0, 1, 100)
a_array = [1,0.5 ,0.1 ,0.2, 0.01,0.001]
for ?a in a_array:
? ?plt.plot(x, beta.pdf(x, a, a), lw=1, alpha=0.6, label='a=' + str(a) + ',b=' + str(a))
plt.legend(frameon=False)
plt.show()

從上圖可以看出，α 趨近于 0 時(shí)，概率分布趨近于 x-0 和 x=1 兩種情況，在論文中代表 ERM。

模型細(xì)節(jié)

SamplePairing

SamplePairing 的實(shí)現(xiàn)很簡(jiǎn)單，兩幅圖片直接像素相加求平均，監(jiān)督的 label 不變。但是在訓(xùn)練過(guò)程中，先用 ILSVRC 數(shù)據(jù)集普通數(shù)據(jù)增廣方式，完成多個(gè) epoch 后間歇性禁止 SamplePairing，在訓(xùn)練損失函數(shù)和精度穩(wěn)定后，禁止 SamplePairing 進(jìn)行微調(diào)。

個(gè)人認(rèn)為相當(dāng)于隨機(jī)引入噪聲，在訓(xùn)練樣本中人為引入誤導(dǎo)性的訓(xùn)練樣本。

mixup

△?mixup實(shí)現(xiàn)公式、Python源代碼和可視化實(shí)現(xiàn)

其中 (xi, yi) 和 (xj, yj) 是訓(xùn)練集隨機(jī)選取的兩個(gè)數(shù)據(jù)，λ ∈ [0,1]，λ ～ Beta(α,α)。

mixup 擴(kuò)展訓(xùn)練集分布基于這樣的先驗(yàn)知識(shí)：線性特征向量的混合導(dǎo)致相關(guān)目標(biāo)線性混合。混合超參數(shù) α 控制特征目標(biāo)之間的插值強(qiáng)度，α→0 時(shí)表示 ERM。

mixup 模型實(shí)現(xiàn)方式簡(jiǎn)單，PyTorch 7 行代碼即可實(shí)現(xiàn)。上圖中的可視化表明，mixup 導(dǎo)致決策邊界模糊化，提供更平滑的預(yù)測(cè)。

實(shí)驗(yàn)

論文的實(shí)驗(yàn)過(guò)程很豐富，包括 CIFAR-10，CIFAR-100，和 ImageNet-2012，隨機(jī)噪音測(cè)試，語(yǔ)音數(shù)據(jù)，facing adversarial examples 黑盒攻擊和白盒攻擊，UCI 數(shù)據(jù)集，以及穩(wěn)定訓(xùn)練 GAN 網(wǎng)絡(luò)。

對(duì)于具有代表性的 ImageNet-2012，Top-1 的精度至少提高 1.2%。

討論

論文提出，在訓(xùn)練過(guò)程中，隨著 α 增加，訓(xùn)練誤差越來(lái)越大，而在驗(yàn)證驗(yàn)證集測(cè)試中泛化誤差反而減少。這與論文提出的假設(shè)相同：mixup 隱含控制模型的復(fù)雜度。但是論文沒(méi)有提出 bias-variance trade-off 的理論解釋。?

論文提出一些進(jìn)一步探索的可行性：

• mixup 是否可以應(yīng)用在其他監(jiān)督學(xué)習(xí)問(wèn)題，比如回歸和結(jié)構(gòu)化預(yù)測(cè)。mixup 可能在回歸問(wèn)題容易實(shí)現(xiàn)，結(jié)構(gòu)化預(yù)測(cè)如圖像分割等問(wèn)題，實(shí)驗(yàn)效果不明顯。

  
  

• mixup 是否可以用于半監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)或強(qiáng)化學(xué)習(xí)。當(dāng)然作者是假設(shè)，希望有后來(lái)者證明 mixup 是理論可行的。?

mixup 來(lái)自 MIT 和 Facebook AI Research。ICLR 是雙盲評(píng)審，官網(wǎng)上的匿名評(píng)審意見(jiàn)普遍認(rèn)為 mixup 缺乏理論基礎(chǔ)，但是實(shí)驗(yàn)效果具有明顯優(yōu)勢(shì)。筆者個(gè)人認(rèn)為在 mixup 基礎(chǔ)上，還有很多坑可以填。

參考文獻(xiàn)

[1] 《統(tǒng)計(jì)學(xué)習(xí)方法》，李航

[2] Pattern Recognition and Machine Learning, Bishop

本文由 AI 學(xué)術(shù)社區(qū) PaperWeekly 精選推薦，社區(qū)目前已覆蓋自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和信息檢索等研究方向，點(diǎn)擊「閱讀原文」即刻加入社區(qū)！

點(diǎn)擊以下標(biāo)題查看相關(guān)內(nèi)容：?

• SamplePairing：針對(duì)圖像處理領(lǐng)域的高效數(shù)據(jù)增強(qiáng)方式
  

#榜 單 公 布?#

2017年度最值得讀的AI論文 | NLP篇 · 評(píng)選結(jié)果公布

2017年度最值得讀的AI論文 | CV篇 · 評(píng)選結(jié)果公布

??我是彩蛋?

解鎖新功能：熱門職位推薦！

PaperWeekly小程序升級(jí)啦

今日arXiv√猜你喜歡√熱門職位√

找全職找實(shí)習(xí)都不是問(wèn)題

?

?解鎖方式?

1. 識(shí)別下方二維碼打開(kāi)小程序

2. 用PaperWeekly社區(qū)賬號(hào)進(jìn)行登陸

3. 登陸后即可解鎖所有功能

?職位發(fā)布?

請(qǐng)?zhí)砑有≈治⑿?#xff08;pwbot01）進(jìn)行咨詢

?

長(zhǎng)按識(shí)別二維碼，使用小程序

*點(diǎn)擊閱讀原文即可注冊(cè)

? ? ? ? ???

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 查看原論文

總結(jié)

以上是生活随笔為你收集整理的Mixup vs. SamplePairing：ICLR2018投稿论文的两种数据增广方式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。