中国学霸本科生提出AI新算法：速度比肩Adam，性能媲美SGD，ICLR领域主席赞不绝口
曉查 乾明 發自 凹非寺?
量子位 報道 | 公眾號 QbitAI
兩位學霸本科生，一位來自北大，一位來自浙大。
他們在實習期間，研究出一種新的AI算法，相關論文已經被人工智能頂級會議ICLR 2019收錄，并被領域主席贊不絕口，完全確定建議接收。
在這篇論文中，他們公布了一個名為AdaBound的神經網絡優化算法，簡單地說，這個算法訓練速度比肩Adam，性能媲美SGD。
這個算法適用于CV、NLP領域，可以用來開發解決各種流行任務的深度學習模型。而且AdaBound對超參數不是很敏感，省去了大量調參的時間。
兩位本科生作為共同一作的這篇論文，也在Reddit上引發了熱贊，作者本人也在這個論壇上展開了在線的答疑交流。
AdaBound已經開源，還放出了Demo。
AdaBound是什么
AdaBound結合了SGD和Adam兩種算法，在訓練開始階段，它能像Adam一樣快速，在后期又能像SGD一樣有很好的收斂性。
SGD（隨機梯度下降）算法歷史悠久，它是讓參數像小球滾下山坡一樣，落入山谷，從而獲得最小值。
但它最大的缺點是下降速度慢（步長是恒定值），而且可能會在溝壑的兩邊持續震蕩，停留在一個局部最優點。
Adam（自適應矩估計）就是為了提高訓練速度而生的。它和自適應優化方法AdaGrad、RMSProp等一樣，通過讓小球在更陡峭的山坡上下降，速率加快，來更快地讓結果收斂。
雖然Adam算法跑得比SGD更快，卻存在兩大缺陷：結果可能不收斂、可能找不到全局最優解。也就是說它的泛化能力較差，在解決某些問題上，表現還不如SGD。
而造成這兩大缺陷的原因，可能是由于不穩定和極端的學習率。
AdaBound是如何解決這個問題的？
它給學習率劃出動態變化的界限，讓實現從Adam到SGD的漸進和平滑過渡，讓模型在開始階段有和Adam一樣快的訓練速度，后期又能保證和SGD一樣穩定的學習率。
這種思路是受到2017年Salesforce的研究人員的啟發。他們通過實驗發現，Adam后期的學習率太低影響了收斂結果。如果控制一下Adam的學習率的下限，實驗結果會好很多。
對學習率的控制就和梯度裁剪差不多。在防止梯度爆炸問題上，我們可以剪掉大于某個閾值的梯度。同樣的，我們也可以剪裁Adam學習率實現AdaBound。
在上面的公式中，學習率被限制在下限 η? 和上限 η?之間。當η? = η? = α時，就是SGD算法；當η?=0、 η? =∞時，就是Adam算法。
為了實現從Adam到SGD的平滑過渡，讓η? 和 η?變成隨時間變化的函數：η? 遞增從0收斂到α，η?從∞遞減收斂到α。
在這種情況下，AdaBound開始時就像Adam一樣訓練速度很快，隨著學習率邊界越來越受到限制，它又逐漸轉變為SGD。
AdaBound還有個非常大的優點，就是它對超參數不是很敏感，省去了大量調參的時間。
實驗結果
作者分別對不同模型進行實驗，比較了Adam與業界流行方法SGD，AdaGrad，Adam和AMSGrad在訓練集和測試集上的學習曲線。
?
?
以上結果證明了AdaBound確實有比SGD更快的訓練速度。
在LSTM上的實驗則證明Adam更好的泛化能力。Adam算法在該實驗條件下沒有收斂到最優解，而AdaBound和SGD算法一樣收斂到最優解。
上圖中，還無法完全體現AdaBound算法相比SGD的在訓練速度上的優點，但AdaBound對超參數不敏感，是它相比SGD的另一大優勢。
但使用AdaBound不代表完全不需要調參，比如上圖中α=1時，AdaBound的表現很差，簡單的調整還是需要的。
目前實驗結果的測試范圍還比較小，評審認為論文可以通過更大的數據集，比如CIFAR-100，來獲得更加可信的結果。
Reddit網友也很好奇AdaBound在GAN上的表現，但作者表示自己計算資源有限，還沒有在更多的模型上測試。希望在開源后有更多人驗證它的效果。
自己動手
目前作者已經在GitHub上發布了基于PyTorch的AdaBound代碼。
它要求安裝Python 3.6或更高版本，可以用pip直接安裝：
pip install adabound
使用方法和Pytorch其他優化器一樣：
optimizer = adabound.AdaBound(model.parameters(), lr=1e-3, final_lr=0.1)
作者還承諾不久后會推出TensorFlow版本，讓我們拭目以待。
學霸本科生
這項研究的共同一作，是兩位學霸本科生。他們在滴滴實習的時候一起完成了這項研究。
一位名叫駱梁宸，就讀于北京大學地球與空間科學學院，今年大四。
另一位名叫熊遠昊，就讀于浙江大學信電學院，今年也是大四。
駱梁宸
這名學霸今年大四，已經有四篇一作論文被人工智能頂級學術會議收錄，其中1篇EMNLP 2018、2篇AAAI 2019，還有我們今天介紹的這篇，發表于ICLR 2019。
他高中畢業于北京師范大學附屬實驗中學，連續三年獲得全國青少年信息學奧林匹克競賽一等獎。
在2015年到2018年期間，是北大PKU Helper團隊的安卓開發工程師和負責人。
2016年春季，擔任數據結構與算法課程助教，還帶著實驗室同學們開發了一個回合制的游戲平臺坦克大戰。
2016年7月到2017年6月，擔任UniBike技術開發VP，負責軟件開發。
2017年7月到2018年5月，在微軟亞洲研究院實習，做研究助理。在這段研究經歷中，發表了兩篇被AAAI收錄的論文。
2018年7月至今，在滴滴人工智能實驗室做研究助理，本篇文章介紹的研究成果，就是這一工作中的成果。
目前，他也在北大語言計算與機器學習組實習，導師為研究員孫栩，也是這篇論文的作者之一。
熊遠昊
他現在是浙江大學信電學院信息工程專業的大四學生，同樣是學霸級人物，三年綜合成績排名年級第一。
在發表這篇ICLR論文之前，他還以第二作者身份在通信領域的權威期刊上發表過論文1篇。
此外，論文還有一位作者，是南加州大學的副教授Yan Liu。
如果，你對他們的研究感興趣，請收好下面的傳送門：
論文：
ADAPTIVE GRADIENT METHODS WITH DYNAMIC BOUND OF LEARNING RATE
https://openreview.net/pdf?id=Bkg3g2R9FX
論文評審頁面：
https://openreview.net/forum?id=Bkg3g2R9FX
GitHub地址：
https://github.com/Luolc/AdaBound
Reddit討論地址：
https://www.reddit.com/r/MachineLearning/comments/auvj3q/r_adabound_an_optimizer_that_trains_as_fast_as/
總結
以上是生活随笔為你收集整理的中国学霸本科生提出AI新算法：速度比肩Adam，性能媲美SGD，ICLR领域主席赞不绝口的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 数据库性能优化的误区！
- 下一篇： 一文搞懂负载均衡中的一致性哈希算法