【完结】如何学习AutoML在模型优化中的应用，这12篇文章可以作为一个参考
文/編輯 | 言有三
自動化機器學習技術是非常重要的基礎研究，也是如今深度學習模型優化中的熱點方向，我們開辟了一個專欄，專門講解AutoML在深度學習模型優化中的一些重要思路，本次來給大家進行總結。
AutoML與數據增強
大家都知道數據增強很重要，是深度學習必備良藥，寫論文刷比賽提指標的大殺器。如果讓模型針對具體的任務自動學習數據增強策略，理論上會更加智能，這便是基于AutoML的數據增強技術。
【AutoML】如何選擇最合適的數據增強操作
AutoML與激活函數
激活機制是一個網絡非線性表達能力的來源，早期研究人員已經設計出了不少的激活函數，從Sigmoid到ReLU系列。隨著AutoML技術的發展，現在研究人員開始使用搜索技術來進行設計。
【AutoML】激活函數如何進行自動學習和配置
AutoML與歸一化機制
數據經過歸一化和標準化后可以加快梯度下降的求解速度，這是Batch Normalization等技術非常流行的原因，它使得可以使用更大的學習率更穩定地進行梯度傳播，甚至增加網絡的泛化能力。使用AutoML技術可以讓不同的網絡層學習到最適合該層的歸一化機制，從而提升模型能力。
【AutoML】歸一化(Normalization)方法如何進行自動學習和配置
AutoML與優化方法
要成功訓練一個深度學習模型，正確的優化策略是非常重要的，如果使用不當結果會產生很大的差異，使用AutoML技術可以對優化方法進行搜索。
【AutoML】優化方法可以進行自動搜索學習嗎？
AutoML與優化目標
一個有效的損失函數在深度學習任務中起了關鍵作用，然而損失函數都是人為設定，不僅需要有經驗的人員進行反復嘗試，也只能獲得次優的方案，如果可以讓模型自動對優化目標進行學習，將有望以更低的成本學習到更優的模型。
【AutoML】損失函數也可以進行自動搜索學習嗎？
AutoML與模型剪枝
模型剪枝是非常重要的模型壓縮技巧，并且擁有比較復雜的剪枝策略，那么是否也可以使用AutoML技術來優化呢？
【AutoML】如何使用強化學習進行模型剪枝？
AutoML與模型量化
模型量化也是非常重要的模型壓縮技巧，網絡各層也可以配置不同的量化策略，那么是否也可以使用AutoML技術來優化呢？
【AutoML】強化學習如何用于模型量化？
AutoML與模型蒸餾
模型蒸餾也是非常重要的模型壓縮技巧，擁有各種各樣的設計策略，那么是否也可以使用AutoML技術來優化呢？
【AutoML】強化學習如何用于模型蒸餾？
強化學習與NAS
強化學習是一種經典的方法，Google在2017年利用強化學習進行最佳模型架構的搜索，引爆了自動設計網絡模型(Neural Architecture Search，簡稱NAS)的研究熱潮。
【AutoML】強化學習如何用于自動模型設計(NAS)與優化？
進化算法與NAS
進化算法是一類算法的統稱，是模擬自然選擇和遺傳等生物進化機制的一種搜索算法，也可以用于模型結構搜索優化。
【AutoML】進化算法如何用于自動模型搜索(NAS)
可微分架構與NAS
可微分架構可以在連續的參數空間中進行搜索，這樣帶來的好處就是可以通過梯度下降算法直接進行優化，是比較高效的搜索NAS方法。
【AutoML】連續可微分架構如何用于網絡結構搜索
AutoML平臺和項目
自從Google提出AutoML那天起，工業界和學術界就已經迅速跟進了，經過了幾年的發展，那么現在工業界都有了哪些AutoML平臺呢？又有哪些開源項目值得關注？
【AutoML】當前有哪些可用的AutoML平臺？
更多的模型設計
深度學習模型設計思想何其之多，以上只是總結了其中最核心最具有代表性的一小部分，可以說是拋磚引玉。那么更多的模型設計和優化思想我們該如何學習呢？有三AI一直深耕于這個方向，在此給大家推薦三個深入學習的資源。
1，有三的三次阿里天池直播
有三在阿里天池做過三次模型設計相關的直播分享，分別是《深度卷積神經網絡模型設計技術》，《如何設計性能更強的CNN結構》，《如何設計更加高效的模型結構》，并贈送了超過200頁的課件和三個小時的視頻。
【總結】言有三&阿里天池深度學習模型設計直播匯總，附贈超過200頁直播PPT課件
2，有三AI知識星球網絡結構1000變
有三AI知識星球是我們和公眾號平臺齊頭并進的付費內容社區，在知識星球中有很多板塊，包括#網絡結構1000變# | #看圖猜技術# | #數據集# | #AI書籍# | #github資源# | #AI1000問# | #AI知識匯總# | #項目# | #分享# | #線下活動# | #資料# | #公眾號付費圖文#等，里面的內容絕不少于公眾號，可以看作是公眾號內容的升級。
其中最重要的板塊就是網絡結構1000變，分享的就是各種各樣任務的模型設計，已經有數百期，包括#圖像分類# #視頻分類# #目標檢測# #圖像分割# #圖像增強# #殘差網絡# #注意力機制# #模型剪枝# #模型量化# #模型蒸餾# #模型壓縮# #動態推理# #三維卷積# #三維重建# #GAN# #AutoML# #分組卷積#等。
分享格式為模型細節詳解和論文鏈接，有一些還有實戰解讀，案例如下：
如果你想在這個方向有所積累，非常推薦入手，掃碼即可加入。
3，有三AI秋季劃模型優化組
秋季劃是有三AI的終身學習項目小組，其中模型優化組會系統性地學習數據使用，模型使用和調參，模型性能分析，緊湊模型設計，模型剪枝，模型量化，模型部署，NAS等內容，理論+實戰結合！
學習資料包括：(1) 與項目配套的錄制視頻。(2) 與項目配套的開源資料。(3) 與項目配套的代碼數據。(4) 永久有效的相關微信群。(5) 附贈有三AI知識星球社區。
具體介紹可以參考下文：
【通知】如何讓你的2020年秋招CV項目經歷更加硬核，可深入學習有三秋季劃4大領域32個方向
4，有三新書《深度學習之模型設計：核心算法與案例實踐》
這是一本講述深度學習模型設計核心算法的書籍，同時配套有大量實戰案例，可以點擊下面文章查看介紹。
言有三新書來襲！業界首次深入全面講解深度學習模型設計
如果想要購買簽名版，請聯系有三本人微信Longlongtogo。
寄語
本次我們總結了AutoML在模型結構搜索和優化方向的核心內容，實際上還有非常多的內容沒有覆蓋，比如如何對搜索進行加速等內容。
深度學習模型的設計和優化，是一通百通，適用于各大機器學習和人工智能領域的底層技術，是每一個資深從業者必須掌握好的技術，請大家務必重視，我們會繼續專注分享相關內容。
轉載文章請后臺聯系
侵權必究
【星球知識卡片】殘差網絡家族10多個變種學習卡片，請收下！
【星球知識卡片】移動端高效率的分組網絡都發展到什么程度了？
【星球知識卡片】注意力機制發展如何了，如何學習它在各類任務中的應用？
【星球知識卡片】模型剪枝有哪些關鍵技術，如何對其進行長期深入學習
【星球知識卡片】模型量化的核心技術點有哪些，如何對其進行長期深入學習
【星球知識卡片】模型蒸餾的核心技術點有哪些，如何對其進行長期深入學習
【星球知識卡片】圖像生成都有哪些核心技術，如何對其進行長期深入學習
【星球知識卡片】AutoML都有哪些核心技術，如何對其進行長期深入學習
【星球知識卡片】AutoML都有哪些核心技術，如何對其進行長期深入學習
總結
以上是生活随笔為你收集整理的【完结】如何学习AutoML在模型优化中的应用，这12篇文章可以作为一个参考的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【AutoML】连续可微分架构如何用于网
- 下一篇： 【通知】有三AI书籍和文化产品读者欢迎入