大家好，今天開設(shè)新專欄《AutoML》，即Automated Machine Learning。在這個專欄中，我們會講述AutoML相關(guān)的內(nèi)容，覆蓋數(shù)據(jù)使用，模型架構(gòu)，優(yōu)化算法等內(nèi)容。

我大概在兩年前的時候開始關(guān)注深度學習自動化相關(guān)的技術(shù)，AI自動化的那天早晚都會到來，它不僅會把圖像識別等技術(shù)自動化，也會逐漸蠶食寫程序，設(shè)計類的工作崗位，最后把開發(fā)AI的人也給干掉，這一篇我們先來大致看看在深度學習領(lǐng)域，它們已經(jīng)做到什么程度了。基本上所有的研究都是從谷歌開始，谷歌再次全面領(lǐng)導了新的革命。

作者&編輯 | 言有三

作為第一篇，我們先粗略介紹一下AutoML技術(shù)是什么，以及可以做些什么？

?

1 什么是AutoML

所謂AutoML，全稱是Automated Machine Learning，即自動機器學習技術(shù)，它的發(fā)展現(xiàn)狀可以參考下面的綜述文章。

Zoller M, Huber M F. Survey on Automated Machine Learning.[J]. arXiv: Learning, 2019.

AutoML的目標是讓機器學習的整個流程的創(chuàng)建完全自動化，從應用領(lǐng)域來說，這通常要包括數(shù)據(jù)的使用，特征的選擇，模型架構(gòu)的設(shè)計，優(yōu)化方法的使用，所以這些方向都會涉及到超參數(shù)的自動調(diào)節(jié)。

有了AutoML技術(shù)后，各個領(lǐng)域的專家便能夠低門檻地使用機器學習技術(shù)，而不用依賴于機器學習專家。

?

2 數(shù)據(jù)使用與特征選擇

智能系統(tǒng)與機器學習技術(shù)的發(fā)展，本身就伴隨著對數(shù)據(jù)的使用方法的進化。從傳統(tǒng)的專家系統(tǒng)，到有監(jiān)督的機器學習算法，到深度學習，本身就屬于AutoML的范疇，它解決了特征選擇的問題，讓特征的學習來源于數(shù)據(jù)，而不是手工設(shè)計。

所以深度學習也被稱之為特征學習，它利用CNN等架構(gòu)，實現(xiàn)了特征選擇的過程。

另一方面，在機器學習/深度學習領(lǐng)域中，還有一個很重要的問題，就是數(shù)據(jù)增強。在解決各類任務的過程中，常常沒有足夠多的數(shù)據(jù)，數(shù)據(jù)太少便意味著過擬合，因此數(shù)據(jù)增強技術(shù)至關(guān)重要。

曾幾何時，我們采用各種各樣的幾何變換，顏色變換策略來進行數(shù)據(jù)增強。隨機裁剪，顏色擾動，都對提升模型的泛化能力起著至關(guān)重要的作用。

技術(shù)發(fā)展到了現(xiàn)在，AutoML技術(shù)開始在數(shù)據(jù)增強領(lǐng)域展露頭腳，以Google Brain提出的AutoAugment為代表的方法，使用增強學習對不同的任務學習到了各自最合適的增強方法，具體細節(jié)，大家可以參考論文和我們之前的往期文章解讀，以后我們也會繼續(xù)開篇講述更新的研究。

Cubuk E D, Zoph B, Mane D, et al. AutoAugment: Learning Augmentation Policies from Data.[J]. arXiv: Computer Vision and Pattern Recognition, 2018.

數(shù)據(jù)使用和特征選擇作為最早被AutoML技術(shù)攻陷的領(lǐng)域，是機器學習算法走向智能和商業(yè)化落地的關(guān)鍵，

?

3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計NAS

一直以來，網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計是一個非常需要經(jīng)驗且具有挑戰(zhàn)性的工作，研究人員從設(shè)計功能更加強大和更加高效的模型兩個方向進行研究，我之前在知乎上也做了兩個live直播講述對應的核心技術(shù)，感興趣可以去聽聽。

隨著各類經(jīng)典網(wǎng)絡(luò)設(shè)計思想的完善，如今要手工設(shè)計出更強大的模型已經(jīng)很難，而以AutoML為代表的技術(shù)在三年前開始被研究。

Google首次提出了自動設(shè)計網(wǎng)絡(luò)模型的思想，利用增強學習進行最佳架構(gòu)的搜索。學習方法如下，基本思想是從一個定義空間中選取網(wǎng)絡(luò)組件，使用網(wǎng)絡(luò)的準確率作為指導指標，使用強化學習進行學習。

學習到的網(wǎng)絡(luò)結(jié)構(gòu)如下：

從上面的結(jié)構(gòu)可以看出，它擁有以下特點：

(1) 跨層的連接非常多，說明信息融合非常重要。

(2) 單個通道數(shù)不大，這是通道使用更加高效的表現(xiàn)。

從Flops指標來看，已經(jīng)非常的高效，不過因為結(jié)構(gòu)相對復雜，實際在硬件平臺上運行時性能并不一定優(yōu)于MobileNet等模型，但是仍然是非常高效的網(wǎng)絡(luò)。

以上研究催生了Google Cloud AutoML，并在2018年1月被Google發(fā)布，AutoML技術(shù)的研究進入高潮，這兩年成為機器學習/深度學習的大熱門。

我們還沒有更新到相關(guān)內(nèi)容，可以參考隔壁機器之心等媒體的文章，以及相關(guān)綜述。現(xiàn)在NAS算法所用的基本結(jié)構(gòu)和模塊都是已有的模塊，未來的方向應該是更廣闊的搜索空間。

[1] Zoph B, Le Q V. Neural Architecture Search with Reinforcement Learning[J]. international conference on learning representations, 2017.

[2] Zoph B, Vasudevan V, Shlens J, et al. Learning Transferable Architectures for Scalable Image Recognition[J]. computer vision and pattern recognition, 2018: 8697-8710.

[3] Elsken T, Metzen J H, Hutter F, et al. Neural Architecture Search: A Survey[J]. Journal of Machine Learning Research, 2018, 20(55): 1-21.

谷歌AutoML創(chuàng)造者Quoc Le：未來最好的人工智能模型將由機器生成?mp.weixin.qq.com

?

4 優(yōu)化方法的搜索

曾幾何時，我們設(shè)計，比較，分析sigmoid，tanh，relu等激活函數(shù)對網(wǎng)絡(luò)性能的影響。而Google Brain提出的以Swish為代表的方法，在一系列一元函數(shù)和二元函數(shù)組成的搜索空間中，進行了組合搜索實驗，利用數(shù)據(jù)學習到了比ReLU更好的激活函數(shù)，可以參考往期文章(點擊圖片)。

【AI初識境】激活函數(shù)：從人工設(shè)計到自動搜索?mp.weixin.qq.com

Ramachandran P, Zoph B, Le Q V. Searching for activation functions[J]. arXiv preprint arXiv:1710.05941, 2017.

曾幾何時，我們還在爭論是最大池化好還是平均池化好，如今基于數(shù)據(jù)的池化策略已經(jīng)被廣泛研究。

Saeedan F, Weber N, Goesele M, et al. Detail-Preserving Pooling in Deep Networks[J]. computer vision and pattern recognition, 2018: 9108-9116.

曾幾何時，我們還在不知道選擇什么樣的歸一化方法好，如今，對每一個網(wǎng)絡(luò)層學習最合適的歸一化策略也是可行的。

Luo P, Ren J, Peng Z, et al. Differentiable Learning-to-Normalize via Switchable Normalization[J]. international conference on learning representations, 2019.

曾幾何時，我們在各種各樣的優(yōu)化方法中迷茫，如今，自動學習優(yōu)化方法也開始被研究。

Bello I, Zoph B, Vasudevan V, et al. Neural Optimizer Search with Reinforcement Learning[J]. international conference on machine learning, 2017: 459-468.

曾幾何時，我們還在想盡辦法設(shè)計損失函數(shù)，如今，使用AutoML進行損失函數(shù)的學習也開始了。

Wu L, Tian F, Xia Y, et al. Learning to Teach with Dynamic Loss Functions[J]. neural information processing systems, 2018: 6466-6477.

曾幾何時，我們在各種模型壓縮技巧中鏖戰(zhàn)，如今，使用AutoML技術(shù)用于模型壓縮的研究也新鮮出爐。

He Y, Lin J, Liu Z, et al. AMC: AutoML for Model Compression and Acceleration on Mobile Devices[J]. european conference on computer vision, 2018: 815-832.

這可能是一個新的時代的開始，GAN正在各大領(lǐng)域中狂奔，AutoML又開始席卷各大領(lǐng)域。

如果你想好好學習AutoML，給大家推送一個GitHub項目，一本書，東西在精不在多，希望對你有用。另外，關(guān)注我們公眾號肯定是沒錯的。

https://github.com/hibayesian/awesome-automl-papers

https://www.automl.org/wp-content/uploads/2019/05/AutoML_Book.pdf

?

總結(jié)

如果你足夠細心，應該就會發(fā)現(xiàn)上面所有的研究，基本上都離不開Google的身影。感謝谷歌，正在讓深度學習的一切開始自動化。同時也要警惕Google，它正在搶走你的飯碗。

下期預告：AutoML與數(shù)據(jù)增強策略。

感謝各位看官的耐心閱讀，不足之處希望多多指教。后續(xù)內(nèi)容將會不定期奉上，歡迎大家關(guān)注有三公眾號 有三AI！

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的【AutoML】AutoML专栏上线，跟Google一起见证调参党的末日？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。