大家好，歡迎來到專欄《AutoML》，在這個專欄中我們會講述AutoML技術在深度學習中的應用，這一期講述在優化方法選擇中的應用。

作者&編輯 | 言有三

要成功訓練一個深度學習模型，正確的優化策略是非常重要的，如果使用不當結果會產生很大的差異，今天來介紹AutoML與優化相關的問題。

1 Neural Optimizer Search

Neural Optimizer Search[1]是一個自動搜索優化方法的框架，它使用強化學習方法設計的RNN結構控制器進行學習，該控制器在每一步中給優化器生成權重更新方程，從而實現最大化模型準確率，示意圖如下：

在搜索空間中包含sgd，rmsprop，adam等優化方法，這些方法都可以被表示為一個相同結構的樹，如下：

因此一個優化器的應用可以被表示為5個操作，分別是選擇op1，op2，兩個操作的幅度函數u1，u2，以及最后對這兩個操作的綜合。

因此，不管選擇什么優化器，完成一次優化步驟都是要做以上的5次操作，那么如果可以學習到這5次操作，就完成了一個優化器的搜索，搜索流程如下：

RNN控制器每一次選擇長度為5的子序列，如上圖。搜索空間如下，具體操作解釋可以閱讀原文，使用的時候還有一些約束，比如樹的左右兩個操作不能相同等。

經過在CIFAR10數據集上對一個2層的簡單網絡進行學習后，它們搜索到了一些有效的優化器，如下圖的PowerSign以及AddSign。

當然，研究者們還對衰減機制也進行了搜索學習，感興趣的讀者可以去閱讀原文。

最后，研究者們還將PowerSign和AddSign遷移到了ImageNet分類任務和谷歌機器翻譯系統，發現它們具有非常好的泛化能力，這使得該框架具有非常大的應用價值。

2 其他

Neural Optimizer Search并不是率先對自動優化器的設計進行學習的框架，在上個世紀[2]研究人員就在思考如何讓算法自我學習，自動尋找更好的算法。

文[3-5]也致力于獲得更好的更新規則，不過Neural Optimizer Search搜索的是函數的組合而不是具體的數值更新，原理更加清晰并且有更好的泛化能力。如今Meta learning等領域是學界比較有潛力的方法，感興趣的同學可以自行深入學習。

[1]?Bello I, Zoph B, Vasudevan V, et al. Neural optimizer search with reinforcement learning[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 459-468.

[2]?Bengio S, Bengio Y, Cloutier J. Use of genetic programming for the search of a new learning rule for neural networks[C]//Proceedings of the First IEEE Conference on Evolutionary Computation. IEEE World Congress on Computational Intelligence. IEEE, 1994: 324-327.

[3]?Li K, Malik J. Learning to optimize[J]. arXiv preprint arXiv:1606.01885, 2016.

[4]?Andrychowicz M, Denil M, Gomez S, et al. Learning to learn by gradient descent by gradient descent[C]//Advances in neural information processing systems. 2016: 3981-3989.

[5]?Wichrowska O, Maheswaranathan N, Hoffman M W, et al. Learned optimizers that scale and generalize[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 3751-3760.

總結

優化方法的自動學習是一個研究已久并且非常具有價值的研究方向，本篇僅做了簡單介紹，感興趣的可以內容。

下期預告：AutoML在損失函數設計中的應用。

有三AI秋季劃

有三AI秋季劃已經正式啟動報名，模型優化，人臉算法，圖像質量共24個項目，助力提升深度學習計算機視覺算法和工程項目能力。

轉載文章請后臺聯系

侵權必究

往期文章

總結

以上是生活随笔為你收集整理的【AutoML】优化方法可以进行自动搜索学习吗？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。