文/編輯 | 言有三

自從Google提出AutoML技術以來，已經過去了好幾年了，如今在學術界和工業界都是熱點。AutoML在網絡結構的搜索上已經取得了非常多的突破，相關的文章，技術博客都已經廣為流傳，那么除了在網絡結構本身的搜索上，AutoML技術對于深度學習模型的優化還有哪些貢獻呢？本文就來簡要總結這個問題。

1 數據增強

數據增強是深度學習模型訓練的必備良藥，寫論文刷比賽提指標的大殺器。傳統的數據增強方法以各類通過參數控制的預設幾何變換和顏色變換為主，如果讓模型針對具體的任務自動學習數據增強，理論上會更加智能，這便是基于AutoML的數據增強技術，它主要是用于自動學習數據增強策略，包括選擇哪一個操作，什么時候應用該操作。

AutoML與數據增強

• 【AutoML】如何選擇最合適的數據增強操作
  

2?激活函數

激活機制是一個網絡非線性表達能力的來源，早期研究人員已經設計出了不少的激活函數，從sigmoid到relu系列，隨著AutoML技術的發展，現在研究人員開始使用搜索技術來進行設計，提出了Swish及更多的變種。

AutoML與激活函數

• 【AutoML】激活函數如何進行自動學習和配置
  

3 歸一化方法

數據經過歸一化和標準化后可以加快梯度下降的求解速度，這是Batch Normalization等技術非常流行的原因，它使得可以使用更大的學習率更穩定地進行梯度傳播，甚至增加網絡的泛化能力。當前歸一化方法非常多，那怎么選擇呢？每一個網絡層中都使用同樣的歸一化，這是最優的配置嗎？不如交給AutoML來自動配置。

AutoML與歸一化

• 【AutoML】歸一化(Normalization)方法如何進行自動學習和配置
  

4 優化方法

要成功訓練一個深度學習模型，正確的優化策略是非常重要的，如果使用不當結果會產生很大的差異，然而要熟練使用，需要大量的工程經驗和深厚的理論基礎，那么能不能使用AutoML來減輕這個負擔呢？

AutoML與優化方法

• 【AutoML】優化方法可以進行自動搜索學習嗎？
  

5 優化目標

一個有效的損失函數在深度學習任務中起了關鍵作用，然而損失函數都是人為設定，不僅需要有經驗的人員進行反復嘗試，也往往只能獲得次優的方案，如果可以讓模型自動對優化目標進行學習，將有望以更低的成本學習到更優的模型。

AutoML與優化目標

• 【AutoML】損失函數也可以進行自動搜索學習嗎？
  

6 模型剪枝

我們給大家介紹過各種各樣的模型壓縮技巧，其中模型剪枝是一個研究已久，也非常考驗工程素質的方向，那能否使用AutoML技術來進行剪枝呢？

AutoML與模型剪枝

• 【AutoML】如何使用強化學習進行模型剪枝？
  

7 模型量化

模型量化是深度學習模型壓縮的大殺器，當前大部分框架對整個模型采用同樣的位寬進行量化，以HAQ(Hardware-Aware Automated Quantization with Mixed Precision)為代表的方法則是一個自動化的混合精度量化框架，使用AutoML技術讓每一層都學習到了適合該層的量化位寬，又有什么優勢呢？

AutoML與模型量化

• 【AutoML】強化學習如何用于模型量化？
  

8 更多模型設計與優化內容

我們公眾號最多的就是模型設計相關的內容，包括主流的模型設計思想，三次長達一個小時的阿里天池模型設計直播，知識星球的網絡結構1000變板塊，感興趣的粉絲可以自取。

主流模型設計

• 【完結】總結12大CNN主流模型架構設計思想

• 【完結】12篇文章帶你逛遍主流分割網絡

• 【完結】 12篇文章帶你完全進入NLP領域，掌握核心技術
  

3次阿里天池直播

• 【總結】言有三&阿里天池深度學習模型設計直播匯總，附贈超過200頁直播PPT課件

知識星球網絡結構

• 【知識星球】網絡結構1000變上線，下半年更新500+網絡模型解讀

• 【知識星球】有沒有網絡模型是動態變化的，每次用的時候都不一樣？

• 【知識星球】分組卷積最新進展，全自動學習的分組有哪些經典模型？

• 【知識星球】卷積核和感受野可動態分配的分組卷積

• 【知識星球】有三AI 10月新主題，千奇百怪GAN上線！

• 【知識星球】剪枝量化初完結，蒸餾學習又上線

有三AI秋季劃

有三AI秋季劃已經正式啟動報名，模型優化，人臉算法，圖像質量共24個項目，助力提升深度學習計算機視覺算法和工程項目能力。
有三AI秋季劃出爐，模型優化，人臉算法，圖像質量等24個項目等你來拿

轉載文章請后臺聯系

侵權必究

近期精選

• 【雜談】有三AI不得不看的技術綜述(超過100篇核心干貨)

• 【知識圖譜】如何構建知識體系：知識圖譜搭建的第一步
  

總結

以上是生活随笔為你收集整理的【小结】除了网络搜索(NAS)，AutoML对深度学习模型优化还有哪些贡献？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。