「AI Drive」是由 PaperWeekly 和 biendata 共同發(fā)起的學(xué)術(shù)直播間，旨在幫助更多的青年學(xué)者宣傳其最新科研成果。我們一直認(rèn)為，單向地輸出知識(shí)并不是一個(gè)最好的方式，而有效地反饋和交流可能會(huì)讓知識(shí)的傳播更加有意義，從而產(chǎn)生更大的價(jià)值。

本期 AI Drive，我們邀請(qǐng)到北京航空航天大學(xué)博士生鄭耀威，為大家在線解讀其發(fā)表于 CVPR 2021?的最新工作 AMP：針對(duì)模型參數(shù)施加對(duì)抗擾動(dòng)的高效神經(jīng)網(wǎng)絡(luò)正則化算法。對(duì)本期主題感興趣的小伙伴，5 月 6 日（周四）晚 7 點(diǎn)，我們準(zhǔn)時(shí)相約 PaperWeekly B 站直播間。

直播信息

在現(xiàn)代深度學(xué)習(xí)應(yīng)用中，有效的正則化策略能避免過擬合現(xiàn)象并提升神經(jīng)網(wǎng)絡(luò)的泛化性能。本研究基于平坦的損失函數(shù)局部最優(yōu)解易泛化的假設(shè)，提出了一種全新的正則化策略，稱為模型對(duì)抗擾動(dòng)算法（AMP）。該算法使用梯度下降方法優(yōu)化一種替代損失函數(shù)，該替代損失函數(shù)是依照傳統(tǒng)損失函數(shù)對(duì)參數(shù)空間內(nèi)的每個(gè)點(diǎn)施加對(duì)抗意義的微小擾動(dòng)而得出的。

與現(xiàn)有的大多數(shù)正則化策略相比，該算法具有嚴(yán)謹(jǐn)?shù)睦碚撘罁?jù)，并可以被證明其更偏好平坦的損失函數(shù)局部最優(yōu)解。經(jīng)過多種現(xiàn)代深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)在多個(gè)圖像基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)，該算法展示出相較其他正則化方法更優(yōu)越的性能。

論文標(biāo)題：

Regularizing Neural Networks via Adversarial Model Perturbation

論文鏈接：

https://arxiv.org/abs/2010.04925

本次分享的具體內(nèi)容有：?

• 相關(guān)工作介紹及本文創(chuàng)新

• 算法優(yōu)化目標(biāo)和計(jì)算流程

• 算法理論依據(jù)的數(shù)學(xué)證明

• 論文實(shí)驗(yàn)結(jié)果分析

• 總結(jié)

嘉賓介紹

?鄭耀威?/ 北京航空航天大學(xué)直博生?

鄭耀威，北京航空航天大學(xué)直博生，師從張日崇教授，已在 AAAI、WWW、CVPR 等會(huì)議發(fā)表多篇一作論文，在校期間曾獲得北航大學(xué)生年度人物的稱號(hào)。

直播地址?& 交流群

本次直播將在 PaperWeekly B 站直播間進(jìn)行，掃描下方海報(bào)二維碼或點(diǎn)擊閱讀原文即可免費(fèi)觀看。線上分享結(jié)束后，嘉賓還將在直播交流群內(nèi)實(shí)時(shí) QA，在 PaperWeekly 微信公眾號(hào)后臺(tái)回復(fù)「AI Drive」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的直播 | AMP：针对模型参数施加对抗扰动的高效神经网络正则化算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。