「PW Live」是 PaperWeekly 的學(xué)術(shù)直播間，旨在幫助更多的青年學(xué)者宣傳其最新科研成果。我們一直認(rèn)為，單向地輸出知識并不是一個最好的方式，而有效地反饋和交流可能會讓知識的傳播更加有意義，從而產(chǎn)生更大的價值。

本期 PW?Live，我們邀請到曠視研究院基礎(chǔ)模型組算法研究員萬若斯，為大家?guī)?strong>批歸一化和權(quán)重衰減的球面優(yōu)化機(jī)制的主題分享。

對本期主題感興趣的小伙伴，7?月 9?日（周四）晚 7?點(diǎn)，我們準(zhǔn)時相約 PaperWeekly B 站直播間。

分享提綱

批歸一化（Batch Normalization，BN）和權(quán)重衰減（weight decay，WD）以其出色穩(wěn)定的表現(xiàn)成為了當(dāng)今各種深度學(xué)習(xí)模型的標(biāo)準(zhǔn)配置，但它們的理論機(jī)制，一直以來僅有模糊的定性分析。

在這次報告中，我將介紹 BN 和 WD 對深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程的共同作用的球面優(yōu)化機(jī)制（Spherical Motion Dynamics， SMD）。值得注意的是，我們基于球面優(yōu)化機(jī)制的定量理論結(jié)果，不受限于模型的結(jié)構(gòu)、數(shù)據(jù)集或任務(wù)類型，可以在諸如 ImageNet，COCO 等基于真實(shí)數(shù)據(jù)的復(fù)雜計算機(jī)視覺任務(wù)上得到完美驗(yàn)證。

本次分享的具體內(nèi)容有：

• BN與WD的背景

• • BN的表達(dá)方式與放縮不變形

  • BN和WD對損失函數(shù)的地形的影響

• BN和WD的球面優(yōu)化機(jī)制

• • 球面優(yōu)化機(jī)制的推導(dǎo)

  • 球面優(yōu)化機(jī)制的部分性質(zhì)

• 實(shí)驗(yàn)結(jié)果

• • 在不同模型、數(shù)據(jù)集、計算機(jī)視覺任務(wù)上驗(yàn)證球面優(yōu)化機(jī)制

  • 討論球面優(yōu)化機(jī)制對調(diào)參的影響

• 結(jié)論

嘉賓介紹

?萬若斯?/ 曠視研究院算法研究員?

萬若斯，現(xiàn)為曠視研究院基礎(chǔ)模型組的算法研究員。在北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院取得應(yīng)用數(shù)學(xué)學(xué)士學(xué)位，并在北京大學(xué)前沿交叉學(xué)院獲得數(shù)據(jù)科學(xué)碩士學(xué)位。主要研究方向是深度學(xué)習(xí)模型與訓(xùn)練方法的理論基礎(chǔ)。

直播地址?& 交流群

本次直播將在 PaperWeekly B 站直播間進(jìn)行，掃描下方海報二維碼或點(diǎn)擊閱讀原文即可免費(fèi)觀看。線上分享結(jié)束后，嘉賓還將在直播交流群內(nèi)實(shí)時 QA，在 PaperWeekly 微信公眾號后臺回復(fù)「PW Live」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的直播 | 旷视研究院最新理论成果：批归一化和权重衰减的球面优化机制的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。