文/編輯 | 言有三

自動化機器學習技術是非常重要的基礎研究，也是如今深度學習模型優化中的熱點方向，我們開辟了一個專欄，專門講解AutoML在深度學習模型優化中的一些重要思路，本次來給大家進行總結。

AutoML與數據增強

大家都知道數據增強很重要，是深度學習必備良藥，寫論文刷比賽提指標的大殺器。如果讓模型針對具體的任務自動學習數據增強策略，理論上會更加智能，這便是基于AutoML的數據增強技術。

• 【AutoML】如何選擇最合適的數據增強操作
  

AutoML與激活函數

激活機制是一個網絡非線性表達能力的來源，早期研究人員已經設計出了不少的激活函數，從Sigmoid到ReLU系列。隨著AutoML技術的發展，現在研究人員開始使用搜索技術來進行設計。

• 【AutoML】激活函數如何進行自動學習和配置
  

AutoML與歸一化機制

數據經過歸一化和標準化后可以加快梯度下降的求解速度，這是Batch Normalization等技術非常流行的原因，它使得可以使用更大的學習率更穩定地進行梯度傳播，甚至增加網絡的泛化能力。使用AutoML技術可以讓不同的網絡層學習到最適合該層的歸一化機制，從而提升模型能力。

• 【AutoML】歸一化(Normalization)方法如何進行自動學習和配置
  

AutoML與優化方法

要成功訓練一個深度學習模型，正確的優化策略是非常重要的，如果使用不當結果會產生很大的差異，使用AutoML技術可以對優化方法進行搜索。

• 【AutoML】優化方法可以進行自動搜索學習嗎？

AutoML與優化目標

一個有效的損失函數在深度學習任務中起了關鍵作用，然而損失函數都是人為設定，不僅需要有經驗的人員進行反復嘗試，也只能獲得次優的方案，如果可以讓模型自動對優化目標進行學習，將有望以更低的成本學習到更優的模型。

• 【AutoML】損失函數也可以進行自動搜索學習嗎？

AutoML與模型剪枝

模型剪枝是非常重要的模型壓縮技巧，并且擁有比較復雜的剪枝策略，那么是否也可以使用AutoML技術來優化呢？

• 【AutoML】如何使用強化學習進行模型剪枝？

AutoML與模型量化

模型量化也是非常重要的模型壓縮技巧，網絡各層也可以配置不同的量化策略，那么是否也可以使用AutoML技術來優化呢？

• 【AutoML】強化學習如何用于模型量化？

AutoML與模型蒸餾

模型蒸餾也是非常重要的模型壓縮技巧，擁有各種各樣的設計策略，那么是否也可以使用AutoML技術來優化呢？

• 【AutoML】強化學習如何用于模型蒸餾？

強化學習與NAS

強化學習是一種經典的方法，Google在2017年利用強化學習進行最佳模型架構的搜索，引爆了自動設計網絡模型(Neural Architecture Search，簡稱NAS)的研究熱潮。

• 【AutoML】強化學習如何用于自動模型設計(NAS)與優化？

進化算法與NAS

進化算法是一類算法的統稱，是模擬自然選擇和遺傳等生物進化機制的一種搜索算法，也可以用于模型結構搜索優化。

• 【AutoML】進化算法如何用于自動模型搜索(NAS)

可微分架構與NAS

可微分架構可以在連續的參數空間中進行搜索，這樣帶來的好處就是可以通過梯度下降算法直接進行優化，是比較高效的搜索NAS方法。

• 【AutoML】連續可微分架構如何用于網絡結構搜索
  

AutoML平臺和項目

自從Google提出AutoML那天起，工業界和學術界就已經迅速跟進了，經過了幾年的發展，那么現在工業界都有了哪些AutoML平臺呢？又有哪些開源項目值得關注？

• 【AutoML】當前有哪些可用的AutoML平臺？

更多的模型設計

深度學習模型設計思想何其之多，以上只是總結了其中AutoML領域中最核心最具有代表性的一小部分。那么更多的模型設計和優化思想我們該如何學習呢？有三AI一直深耕于這個方向，在此給大家推薦三個深入學習的資源。

1，有三的三次阿里天池直播

有三在阿里天池做過三次模型設計相關的直播分享，分別是《深度卷積神經網絡模型設計技術》，《如何設計性能更強的CNN結構》，《如何設計更加高效的模型結構》，并贈送了超過200頁的課件和三個小時的視頻。

• 【總結】言有三&阿里天池深度學習模型設計直播匯總，附贈超過200頁直播PPT課件
  

2，有三AI知識星球網絡結構1000變

有三AI知識星球是我們和公眾號平臺齊頭并進的付費內容社區，在知識星球中有很多板塊，包括#直播# | #言有三的書# | #網絡結構1000變# | #開源文檔# | #看圖猜技術# | #公眾號付費圖文? |? 每周論文推薦# | #數據集#?| #AI書籍# | #github資源# | #AI1000問# | #AI知識匯總#? | #線下活動#等，里面的內容絕不少于公眾號，可以看作是公眾號內容的升級。

其中最重要的板塊就是網絡結構1000變，分享的就是各種各樣任務的模型設計，已經有數百期，包括#CNN起源# #ImageNet經典# #殘差網絡# #分組卷積# #注意力機制# #三維卷積# #模型剪枝# #模型量化# #模型蒸餾# #模型壓縮# #硬件優化# #動態推理# #AutoML# #三維重建# #人臉# #人臉識別# #人臉編輯# #圖像分類# #視頻分類# #圖像分割# #目標檢測# #目標跟蹤# #圖像降噪# #超分辨# #圖像修復# #圖像增強# #圖像去模糊# #GAN# #圖像生成# #風格化# #文本檢測和識別# #醫學圖像# #點云圖像#等。

分享格式為模型細節詳解和論文鏈接，有一些還有實戰解讀，案例如下：

如果你想在這個方向有所積累，非常推薦入手，掃碼即可加入。

如果對星球內容不了解，請參考下面的指導手冊文章。

【雜談】有三AI知識星球指導手冊出爐！和公眾號相比又有哪些內容？

3，有三AI秋季劃模型優化組

秋季劃是有三AI的終身學習項目小組，其中模型優化組會系統性地學習數據使用，模型使用和調參，模型性能分析，緊湊模型設計，模型剪枝，模型量化，模型部署，NAS等內容，理論+實戰結合！

學習資料包括：(1) 與項目配套的錄制視頻。(2) 與項目配套的開源資料。(3) 與項目配套的代碼數據。(4) 永久有效的相關微信群。(5) 附贈有三AI知識星球社區。

具體介紹可以參考下文：

【雜談】如何讓2020年秋招CV項目能力更加硬核，可深入學習有三秋季劃4大領域32個方向

4，有三新書《深度學習之模型設計：核心算法與案例實踐》

這是一本講述深度學習模型設計核心算法的書籍，同時配套有大量實戰案例，可以點擊下面文章查看介紹。

言有三新書來襲！業界首次深入全面講解深度學習模型設計

如果想要購買簽名版，請到有三微信小店下單，會附贈我們的學習撲克牌一份。

寄語

本次我們總結了AutoML在模型結構搜索和優化方向的核心內容，實際上還有非常多的內容沒有覆蓋，比如如何對搜索進行加速等內容。

深度學習模型的設計和優化，是一通百通，適用于各大機器學習和人工智能領域的底層技術，是每一個資深從業者必須掌握好的技術，請大家務必重視，我們會繼續專注分享相關內容。

轉載文章請后臺聯系

侵權必究

• 【雜談】有三AI知識星球指導手冊出爐！和公眾號相比又有哪些內容？

• 【通知】有三AI更新420頁14萬字視覺算法工程師成長指導手冊，可下載收藏打印
  

• 【雜談】面向新手的深度學習開源框架指導手冊與GitHub項目，歡迎加入我們的開源團隊
  

總結

以上是生活随笔為你收集整理的【完结】AutoML如何应用于模型优化，这些文章可以作为一个参考的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。