「PW Live」是 PaperWeekly 的學(xué)術(shù)直播間，旨在幫助更多的青年學(xué)者宣傳其最新科研成果。我們一直認(rèn)為，單向地輸出知識(shí)并不是一個(gè)最好的方式，而有效地反饋和交流可能會(huì)讓知識(shí)的傳播更加有意義，從而產(chǎn)生更大的價(jià)值。

本期 PW?Live，我們邀請(qǐng)到曠視研究院基礎(chǔ)模型組算法研究員萬(wàn)若斯，為大家?guī)?lái)批歸一化和權(quán)重衰減的球面優(yōu)化機(jī)制的主題分享。

對(duì)本期主題感興趣的小伙伴，7?月 9?日（周四）晚 7?點(diǎn)，我們準(zhǔn)時(shí)相約 PaperWeekly B 站直播間。

分享提綱

批歸一化（Batch Normalization，BN）和權(quán)重衰減（weight decay，WD）以其出色穩(wěn)定的表現(xiàn)成為了當(dāng)今各種深度學(xué)習(xí)模型的標(biāo)準(zhǔn)配置，但它們的理論機(jī)制，一直以來(lái)僅有模糊的定性分析。

在這次報(bào)告中，我將介紹 BN 和 WD 對(duì)深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程的共同作用的球面優(yōu)化機(jī)制（Spherical Motion Dynamics， SMD）。值得注意的是，我們基于球面優(yōu)化機(jī)制的定量理論結(jié)果，不受限于模型的結(jié)構(gòu)、數(shù)據(jù)集或任務(wù)類型，可以在諸如 ImageNet，COCO 等基于真實(shí)數(shù)據(jù)的復(fù)雜計(jì)算機(jī)視覺(jué)任務(wù)上得到完美驗(yàn)證。

本次分享的具體內(nèi)容有：

• BN與WD的背景

• • BN的表達(dá)方式與放縮不變形

  • BN和WD對(duì)損失函數(shù)的地形的影響

• BN和WD的球面優(yōu)化機(jī)制

• • 球面優(yōu)化機(jī)制的推導(dǎo)

  • 球面優(yōu)化機(jī)制的部分性質(zhì)

• 實(shí)驗(yàn)結(jié)果

• • 在不同模型、數(shù)據(jù)集、計(jì)算機(jī)視覺(jué)任務(wù)上驗(yàn)證球面優(yōu)化機(jī)制

  • 討論球面優(yōu)化機(jī)制對(duì)調(diào)參的影響

• 結(jié)論

嘉賓介紹

?萬(wàn)若斯?/ 曠視研究院算法研究員?

萬(wàn)若斯，現(xiàn)為曠視研究院基礎(chǔ)模型組的算法研究員。在北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院取得應(yīng)用數(shù)學(xué)學(xué)士學(xué)位，并在北京大學(xué)前沿交叉學(xué)院獲得數(shù)據(jù)科學(xué)碩士學(xué)位。主要研究方向是深度學(xué)習(xí)模型與訓(xùn)練方法的理論基礎(chǔ)。

直播地址?& 交流群

本次直播將在 PaperWeekly B 站直播間進(jìn)行，掃描下方海報(bào)二維碼或點(diǎn)擊閱讀原文即可免費(fèi)觀看。線上分享結(jié)束后，嘉賓還將在直播交流群內(nèi)實(shí)時(shí) QA，在 PaperWeekly 微信公眾號(hào)后臺(tái)回復(fù)「PW Live」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的直播 | 旷视研究院最新理论成果：批归一化和权重衰减的球面优化机制的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。