大家好，這是專欄《AI不惑境》的第十二篇文章，講述AutoML在深度學(xué)習(xí)模型設(shè)計(jì)和優(yōu)化相關(guān)的內(nèi)容。

進(jìn)入到不惑境界，就是向高手邁進(jìn)的開(kāi)始了，在這個(gè)境界需要自己獨(dú)立思考。如果說(shuō)學(xué)習(xí)是一個(gè)從模仿，到追隨，到創(chuàng)造的過(guò)程，那么到這個(gè)階段，應(yīng)該躍過(guò)了模仿和追隨的階段，進(jìn)入了創(chuàng)造的階段。從這個(gè)境界開(kāi)始，講述的問(wèn)題可能不再有答案，更多的是激發(fā)大家一起來(lái)思考。

作者&編輯 | 言有三

自從2017年Google提出使用強(qiáng)化學(xué)習(xí)搜索模型結(jié)構(gòu)之后，AutoML/NAS便迅速成為了學(xué)術(shù)界和工業(yè)界的寵兒，在這幾年也是非常火熱的領(lǐng)域，那么AutoML/NAS在深度學(xué)習(xí)模型的設(shè)計(jì)和優(yōu)化上究竟都有了哪些實(shí)際的作用呢？本文對(duì)其進(jìn)行簡(jiǎn)單的介紹。

?

1 AutoML簡(jiǎn)介

1.1 什么是AutoML

所謂AutoML，全稱是Automated Machine Learning，即自動(dòng)機(jī)器學(xué)習(xí)技術(shù)，AutoML的目標(biāo)是讓機(jī)器學(xué)習(xí)的整個(gè)流程自動(dòng)化，從應(yīng)用領(lǐng)域來(lái)說(shuō)，這通常要包括數(shù)據(jù)的使用，特征的選擇，模型架構(gòu)的設(shè)計(jì)和優(yōu)化，優(yōu)化參數(shù)的搜索等。

1.2 AutoML中的搜索方法

AutoML本質(zhì)上是對(duì)參數(shù)進(jìn)行自動(dòng)搜索，所以其中最核心的技術(shù)是搜索策略，關(guān)鍵在于如何快速而準(zhǔn)確地找到最優(yōu)值，目前主要的搜索方法有幾種：

(1) 隨機(jī)搜索與柵格搜索。隨機(jī)搜索顧名思義就是隨機(jī)進(jìn)行參數(shù)的選擇，自然是最簡(jiǎn)單，但也是最不可靠的方法。柵格搜索就是在一個(gè)有限的搜索空間進(jìn)行窮舉，對(duì)于小的搜索空間是可以接受的。

(2) 強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)是一類很經(jīng)典的算法，大名鼎鼎的AlphaGO就使用了強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，強(qiáng)化學(xué)習(xí)的經(jīng)典方法包括DPG，PPO等。

(3) 進(jìn)化算法。進(jìn)化算法是一類算法的總稱，當(dāng)前很多AutoML框架都使用進(jìn)化算法進(jìn)行訓(xùn)練，它的核心思想是隨機(jī)生成一個(gè)種群，然后進(jìn)行選擇、交叉、變異。

(4) 貝葉斯優(yōu)化。貝葉斯優(yōu)化假設(shè)超參數(shù)與需要優(yōu)化的損失函數(shù)存在一個(gè)函數(shù)關(guān)系，通過(guò)代理模型來(lái)指導(dǎo)超參優(yōu)化的調(diào)試方向。

其他諸如梯度優(yōu)化方法等，在AutoML專欄中再進(jìn)行詳述。

?

2 AutoML與數(shù)據(jù)使用，特征工程

2.1 特征工程

智能系統(tǒng)與機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，本身就伴隨著對(duì)數(shù)據(jù)使用方法的進(jìn)化。從傳統(tǒng)的專家系統(tǒng)，到有監(jiān)督的機(jī)器學(xué)習(xí)算法，到深度學(xué)習(xí)，本身就屬于AutoML的范疇，它解決了特征選擇的問(wèn)題，讓特征的學(xué)習(xí)來(lái)源于數(shù)據(jù)，而不是手工設(shè)計(jì)。

所以深度學(xué)習(xí)也被稱之為特征學(xué)習(xí)，它利用CNN等架構(gòu)，實(shí)現(xiàn)了特征選擇的過(guò)程。

當(dāng)前工業(yè)界也有一些特征工程框架，比如第四范式“先知平臺(tái)”中的FeatureGO，自動(dòng)化的特征工程在數(shù)據(jù)挖掘領(lǐng)域中有著巨大的商業(yè)潛力。

2.2 數(shù)據(jù)增強(qiáng)

在機(jī)器學(xué)習(xí)/深度學(xué)習(xí)領(lǐng)域中，有一個(gè)很重要的問(wèn)題，就是數(shù)據(jù)增強(qiáng)。在解決各類任務(wù)的過(guò)程中，常常沒(méi)有足夠多的數(shù)據(jù)，數(shù)據(jù)太少便意味著容易過(guò)擬合。各種各樣的幾何變換，顏色變換策略都被證明有助于提升模型的泛化能力，因此數(shù)據(jù)增強(qiáng)技術(shù)至關(guān)重要。

AutoML技術(shù)開(kāi)始在數(shù)據(jù)增強(qiáng)領(lǐng)域研究的開(kāi)始以Google Brain提出的AutoAugment[1]為代表。它的基本思路是使用增強(qiáng)學(xué)習(xí)從數(shù)據(jù)本身尋找最佳圖像變換策略，對(duì)于不同的任務(wù)學(xué)習(xí)不同的增強(qiáng)方法，流程如下：

(1) 準(zhǔn)備16個(gè)常用的數(shù)據(jù)增強(qiáng)操作。

(2) 從16個(gè)中選擇5個(gè)操作，隨機(jī)產(chǎn)生使用該操作的概率和相應(yīng)的幅度，將其稱為一個(gè)sub-policy，一共產(chǎn)生5個(gè)sub-polices。

(3) 對(duì)訓(xùn)練過(guò)程中每一個(gè)batch的圖片，隨機(jī)采用5個(gè)sub-polices操作中的一種。

(4) 通過(guò)模型在驗(yàn)證集上的泛化能力來(lái)反饋。

(5) 經(jīng)過(guò)80~100個(gè)epoch后網(wǎng)絡(luò)開(kāi)始學(xué)習(xí)到有效的sub-policies。

(6) 之后串接這5個(gè)sub-policies，然后再進(jìn)行最后的訓(xùn)練。

總的來(lái)說(shuō)，就是學(xué)習(xí)已有數(shù)據(jù)增強(qiáng)的組合策略，比如對(duì)于門牌數(shù)字識(shí)別等任務(wù)，研究表明剪切和平移等幾何變換能夠獲得最佳效果，

數(shù)據(jù)使用和特征選擇作為最早被AutoML技術(shù)攻陷的領(lǐng)域，是機(jī)器學(xué)習(xí)算法走向智能和商業(yè)化落地的關(guān)鍵。

?

3 AutoML與模型結(jié)構(gòu)設(shè)計(jì)

3.1 整個(gè)模型架構(gòu)的搜索

一直以來(lái)，網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)是一個(gè)非常需要經(jīng)驗(yàn)且具有挑戰(zhàn)性的工作，研究人員從設(shè)計(jì)功能更加強(qiáng)大和更加高效的模型兩個(gè)方向進(jìn)行研究，我之前在阿里天池做過(guò)三次直播，感興趣的朋友可以回頭去翻看。

【總結(jié)】言有三&阿里天池深度學(xué)習(xí)模型設(shè)計(jì)直播匯總，附贈(zèng)超過(guò)200頁(yè)直播PPT課件

隨著各類經(jīng)典網(wǎng)絡(luò)設(shè)計(jì)思想的完善，如今要手工設(shè)計(jì)出更優(yōu)秀的模型已經(jīng)很難，而以AutoML為代表的技術(shù)就成為了大家關(guān)注的熱點(diǎn)。

Google在2017年利用增強(qiáng)學(xué)習(xí)進(jìn)行最佳模型架構(gòu)的搜索[2]，引爆了自動(dòng)設(shè)計(jì)網(wǎng)絡(luò)模型(Neural Architecture Search，簡(jiǎn)稱NAS)的研究熱潮，其基本流程如下：

增強(qiáng)學(xué)習(xí)方法需要一些基本組件，包括搜索空間(search space)，策略函數(shù)(policy)，獎(jiǎng)勵(lì)指標(biāo)(reward)。

搜索空間就是網(wǎng)絡(luò)組件，也就是基本參數(shù)，包括濾波器數(shù)量，卷積核高、卷積核寬、卷積核滑動(dòng)步長(zhǎng)高、卷積核滑動(dòng)步長(zhǎng)寬等，如下圖(分別是有跳層連接和無(wú)跳層連接)，每一個(gè)參數(shù)的預(yù)測(cè)使用softmax分類器實(shí)現(xiàn)，跳層連接則使用sigmoid函數(shù)。

策略函數(shù)使用的就是RNN，實(shí)際是一個(gè)兩層的LSTM，每一個(gè)隱藏層單元為35。之所以可以這么做是因?yàn)榫W(wǎng)絡(luò)結(jié)構(gòu)和連接可以使用一個(gè)變長(zhǎng)的字符串進(jìn)行描述，終止條件就是達(dá)到一定的層數(shù)。

獎(jiǎng)勵(lì)指標(biāo)(reward)使用的是驗(yàn)證集上測(cè)試準(zhǔn)確率，如下。

因?yàn)樯鲜瞿繕?biāo)不可微分，所以需要進(jìn)行近似如下：

其中m是每一個(gè)batch采樣的結(jié)構(gòu)，T是需要預(yù)測(cè)的參數(shù)量，學(xué)習(xí)到的網(wǎng)絡(luò)結(jié)構(gòu)如下：

從上面的結(jié)構(gòu)可以看出，它擁有以下特點(diǎn)：

(1) 跨層連接非常多，說(shuō)明信息融合非常重要。

(2) 單個(gè)通道數(shù)不大，這是通道使用更加高效的表現(xiàn)。

以上研究催生了Google Cloud AutoML，并在2018年1月被Google發(fā)布，AutoML技術(shù)的研究開(kāi)始進(jìn)入高潮，這幾年成為機(jī)器學(xué)習(xí)/深度學(xué)習(xí)的大熱門。

3.2 模型結(jié)構(gòu)參數(shù)的優(yōu)化

除了對(duì)整個(gè)模型結(jié)構(gòu)進(jìn)行搜索外，其實(shí)對(duì)某一些模型結(jié)構(gòu)單元進(jìn)行優(yōu)化是更現(xiàn)實(shí)的策略，因?yàn)樗乃阉骺臻g更小。

基于Depthwise的分組卷積是一類非常有效的模型設(shè)計(jì)，不過(guò)每一個(gè)分組通常用同樣大小的卷積核，而Inception等多尺度結(jié)構(gòu)表明不同的卷積核大小能學(xué)習(xí)到不同的特征表達(dá)，是有助于提升模型性能的，分組卷積模型MixNet[3]就使用了多尺度的卷積核提升其性能。

網(wǎng)絡(luò)結(jié)構(gòu)如上，關(guān)于使用多少種不同尺度的卷積核，有兩種思路。第一種，就是人工設(shè)定，比如使用3x3, 5x5, 7x7, 9x9等四種卷積核，各自的通道數(shù)量可以均分。

當(dāng)然更好的方式就是基于學(xué)習(xí)了，讓其對(duì)卷積核的種類和通道數(shù)量劃分進(jìn)行搜索，由于搜索空間較小，可以直接采用窮舉的辦法。

類似的模型結(jié)構(gòu)有很多，比如EfficientNet[4]。

?

4?AutoML與優(yōu)化參數(shù)

NAS關(guān)注的是模型的結(jié)構(gòu)的設(shè)計(jì)，而除了模型的結(jié)構(gòu)因子外，還有許多優(yōu)化相關(guān)的參數(shù)，比如激活函數(shù)，歸一化函數(shù)，優(yōu)化目標(biāo)等。

4.1 激活函數(shù)

早期研究人員使用sigmoid，tanh，relu等激活函數(shù)，而Google Brain研究在一系列一元函數(shù)和二元函數(shù)組成的搜索空間中進(jìn)行了組合搜索實(shí)驗(yàn)，搜索空間覆蓋了我們能想到的一些簡(jiǎn)單的函數(shù)，如下：

搜索結(jié)果表明好用的激活函數(shù)都比較簡(jiǎn)單，不會(huì)超過(guò)兩個(gè)基本函數(shù)的乘組合。搜到了一些比Relu表現(xiàn)更好的函數(shù)，最好的是一個(gè)這樣的函數(shù)：x · σ(βx)，被稱為Swish[5]，它在某個(gè)特定的參數(shù)下也和ReLU及其變種類似，如下圖。

4.2 歸一化方法

現(xiàn)在我們?cè)诿恳粋€(gè)網(wǎng)絡(luò)層中都使用同樣的歸一化，這是最優(yōu)的配置嗎？顯然不是，因?yàn)閷?shí)際應(yīng)用中不同的問(wèn)題就有它最合適的歸一化操作。比如RNN等時(shí)序模型，有時(shí)候同一個(gè)batch內(nèi)部的訓(xùn)練實(shí)例長(zhǎng)度不一(不同長(zhǎng)度的句子)，則不同的時(shí)態(tài)下需要保存不同的統(tǒng)計(jì)量，無(wú)法正確使用BN層，只能使用Layer Normalization。對(duì)于圖像生成以及風(fēng)格遷移類應(yīng)用，使用Instance Normalization更加合適。對(duì)于Batch比較小的情況下，Group Normalization是一個(gè)替換的方案。

Switchable Normalization[6]的研究便是關(guān)注如何讓不同的網(wǎng)絡(luò)層學(xué)習(xí)到最適合該層的歸一化機(jī)制，方法就是在包含各類歸一化方法的池中進(jìn)行選擇，然后用精度進(jìn)行比較擇優(yōu)。

上圖是對(duì)于各類任務(wù)中，學(xué)習(xí)到的最適合該方法的BN，IN，LN，GN的比例。可以看到，對(duì)于分類，檢測(cè)任務(wù)主干模型，BN更常用，對(duì)于LSTM任務(wù)，LN一家獨(dú)大，對(duì)于Image Style Transfer任務(wù)，IN一家獨(dú)大。

4.3 優(yōu)化方法

要成功訓(xùn)練一個(gè)深度學(xué)習(xí)模型，正確的優(yōu)化策略是非常重要的，如果使用不當(dāng)結(jié)果會(huì)產(chǎn)生很大的差異，現(xiàn)如今優(yōu)化方法也可以進(jìn)行搜索[7]。搜索空間中包含sgd，rmsprop，adam等優(yōu)化方法，這些方法都可以被表示為一個(gè)相同結(jié)構(gòu)的樹(shù)，如下：

一個(gè)優(yōu)化器的應(yīng)用可以被表示為5個(gè)操作，分別是選擇op1，op2，兩個(gè)操作的幅度函數(shù)u1，u2，以及最后對(duì)這兩個(gè)操作的綜合。

因此，不管選擇什么優(yōu)化器，完成一次優(yōu)化步驟都是要做以上的5次操作，那么如果可以學(xué)習(xí)到這5次操作，就完成了一個(gè)優(yōu)化器的搜索。

RNN控制器每一次選擇長(zhǎng)度為5的子序列，如上圖。搜索空間如下，使用的時(shí)候還有一些約束，比如樹(shù)的左右兩個(gè)操作不能相同等。

經(jīng)過(guò)在CIFAR10數(shù)據(jù)集上對(duì)一個(gè)2層的簡(jiǎn)單網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)后，它們搜索到了一些有效的優(yōu)化器，如下圖的PowerSign以及AddSign。

研究者們還將PowerSign和AddSign遷移到了ImageNet分類任務(wù)和谷歌機(jī)器翻譯系統(tǒng)，發(fā)現(xiàn)它們具有非常好的泛化能力，這使得該框架具有非常大的應(yīng)用價(jià)值。

4.4 優(yōu)化目標(biāo)

一個(gè)有效的損失函數(shù)在深度學(xué)習(xí)任務(wù)中起了關(guān)鍵作用，然而損失函數(shù)都是人為設(shè)定，不僅需要有經(jīng)驗(yàn)的人員進(jìn)行反復(fù)嘗試，也只能獲得次優(yōu)的方案，如果可以讓模型自動(dòng)對(duì)優(yōu)化目標(biāo)進(jìn)行學(xué)習(xí)，將有望以更低的成本學(xué)習(xí)到更優(yōu)的模型。

AM-LFS[8]將不同任務(wù)的損失函數(shù)用一種統(tǒng)一的形式表示，設(shè)計(jì)了一個(gè)搜索空間，利用了強(qiáng)化學(xué)習(xí)來(lái)自動(dòng)搜索合適的損失函數(shù)的超參數(shù)，使用雙層次優(yōu)化框架來(lái)同時(shí)更新?lián)p失函數(shù)參數(shù)分布和網(wǎng)絡(luò)結(jié)構(gòu)權(quán)重參數(shù)，流程如下：

首先作者將softmax及其一些變種統(tǒng)一到一個(gè)框架，這里的τ和t都是函數(shù)。τ控制著樣本不均衡變換，t控制著類內(nèi)與類間的度量距離比例。

因此搜索空間就可以是一個(gè)分段線性函數(shù)構(gòu)成的參數(shù)空間，可以使用強(qiáng)化學(xué)習(xí)方法進(jìn)行高效的搜索。

任務(wù)的損失包含了兩個(gè)，第一個(gè)是最小化任務(wù)的損失，第二個(gè)就是最大化模型獎(jiǎng)勵(lì)，此處獎(jiǎng)勵(lì)使用map等指標(biāo)。具體的實(shí)現(xiàn)是在內(nèi)層循環(huán)最小化任務(wù)的損失，外層循環(huán)最大化獎(jiǎng)勵(lì)，前者學(xué)習(xí)模型權(quán)重，后者學(xué)習(xí)損失函數(shù)的超參數(shù)。

4.5 模型優(yōu)化

雖然NAS本身具有模型優(yōu)化的功能，但是當(dāng)前也有許多成熟的模型優(yōu)化方法，比如模型剪枝與量化。

AutoML for Model Compression(AMC)[9]是一個(gè)利用強(qiáng)化學(xué)習(xí)自動(dòng)搜索并提高模型剪枝算法質(zhì)量的框架，其完整的流程如下：

在一般的剪枝算法中，我們通常遵循一些基本策略：比如在提取低級(jí)特征的參數(shù)較少的第一層中剪掉更少的參數(shù)，對(duì)冗余性更高的FC層剪掉更多的參數(shù)。然而，由于深度神經(jīng)網(wǎng)絡(luò)中的層不是孤立的，這些基于規(guī)則的剪枝策略并不是最優(yōu)的，也不能從一個(gè)模型遷移到另一個(gè)模型。

AMC方法便是在該背景下，利用強(qiáng)化學(xué)習(xí)自動(dòng)搜索并提高模型壓縮的質(zhì)量，該框架是每一層進(jìn)行獨(dú)立壓縮，前一層壓縮完之后再往后層進(jìn)行傳播，t層接受該層的輸入特征s_t，輸出稀疏比率a_t，按照a_t對(duì)該層進(jìn)行壓縮后，智能體移動(dòng)到下一層L_t+1，使用驗(yàn)證集精度作為評(píng)估。

作者們對(duì)兩類場(chǎng)景進(jìn)行了實(shí)驗(yàn)，第一類是受延遲影響較大的應(yīng)用如移動(dòng)APP，使用的是資源受限的壓縮，這樣就可以在滿足低FLOP和延遲，小模型的情況下實(shí)現(xiàn)最好的準(zhǔn)確率；這一類場(chǎng)景作者通過(guò)限制搜索空間來(lái)實(shí)現(xiàn)，在搜索空間中，動(dòng)作空間(剪枝率)受到限制，使得被智能體壓縮的模型總是低于資源預(yù)算。

另一類是追求精度的應(yīng)用如Google Photos，就需要在保證準(zhǔn)確率的情況下壓縮得到更小的模型。對(duì)于這一類場(chǎng)景，作者定義了一個(gè)獎(jiǎng)勵(lì)，它是準(zhǔn)確率和硬件資源的函數(shù)。基于這個(gè)獎(jiǎng)勵(lì)函數(shù)，智能體在不損害模型準(zhǔn)確率的前提下探索壓縮極限。

每一層的狀態(tài)空間為(t, n, c, h, w, stride, k, FLOP s[t], reduced, rest, at?1)，t是層指數(shù)，輸入維度是n×c×k×k，輸入大小是c×h×w，reduces就是前一層減掉的flops，rest是剩下的flops。

因?yàn)榧糁?duì)通道數(shù)特別敏感，所以這里不再是使用離散的空間，如{128,256}，而是使用連續(xù)的空間，使用deep deterministic policy gradient (DDPG)來(lái)控制壓縮比率，完整的算法流程如下：

對(duì)于細(xì)粒度的剪枝，可以使用權(quán)重的最小幅度作為閾值，對(duì)于通道級(jí)別的壓縮，可以使用最大響應(yīng)值。在谷歌Pixel-1 CPU和MobileNet模型上，AMC實(shí)現(xiàn)了1.95 倍的加速，批大小為1，節(jié)省了34%的內(nèi)存。在英偉達(dá)Titan XP GPU 上，AMC實(shí)現(xiàn)了1.53 倍的加速，批大小為50。

同樣的，量化也是模型壓縮的另外一個(gè)技術(shù)，是學(xué)術(shù)界和工業(yè)界的重點(diǎn)研究方向，HAQ(Hardware-Aware Automated Quantization with Mixed Precision)[10]是一個(gè)自動(dòng)化的混合精度量化框架，使用增強(qiáng)學(xué)習(xí)讓每一層都學(xué)習(xí)到了適合該層的量化位寬。

不同的網(wǎng)絡(luò)層有不同的冗余性，因此對(duì)于精度的要求也不同，當(dāng)前已經(jīng)有許多的芯片開(kāi)始支持混合精度。通常來(lái)說(shuō)，淺層特征提取需要更高的精度，卷積層比全連接層需要更高的精度。如果手動(dòng)的去搜索每一層的位寬肯定是不現(xiàn)實(shí)的，因此需要采用自動(dòng)搜索策略。

另一方面，一般大家使用FLOPS，模型大小等指標(biāo)來(lái)評(píng)估模型壓縮的好壞，然后不同的平臺(tái)表現(xiàn)出來(lái)的差異可能很大，因此HAQ使用了新的指標(biāo)，即芯片的延遲和功耗。

搜索的學(xué)習(xí)過(guò)程是代理Agent接收到層配置和統(tǒng)計(jì)信息作為觀察，然后輸出動(dòng)作行為即權(quán)值和激活的位寬，其中算法細(xì)節(jié)為：

(1) 觀測(cè)值-狀態(tài)空間，一個(gè)10維變量，如下：

(2) 動(dòng)作空間，使用了連續(xù)函數(shù)來(lái)決定位寬，離散的位寬如下：

(3) 反饋，利用硬件加速器來(lái)獲取延遲和能量作為反饋信號(hào)，以指導(dǎo)Agent滿足資源約束。

(4) 量化，直接使用線性量化方法，其中s是縮放因子，clamp是截?cái)嗪瘮?shù)。

(5) c的選擇是計(jì)算原始分布和量化后分布的KL散度，這也是很多框架中的做法。

(6) 獎(jiǎng)勵(lì)函數(shù)，在所有層被量化過(guò)后，再進(jìn)行1個(gè)epoch的微調(diào)，并將重訓(xùn)練后的驗(yàn)證精度作為獎(jiǎng)勵(lì)信號(hào)。

使用了深度確定性策略梯度(DDPG)方法進(jìn)行優(yōu)化，下圖是在延遲約束下，MobileNet-V1/V2模型在邊緣端和云端設(shè)備上的實(shí)驗(yàn)結(jié)果，與固定的8bit量化方法相比，分別取得了1.4倍到1.95倍的加速。

下圖分別是邊緣端和云端設(shè)備上MobileNet-V1各個(gè)網(wǎng)絡(luò)層的量化特點(diǎn)，可以發(fā)現(xiàn)在邊緣端設(shè)備上depthwise卷積有更少的bits，pointwise有更多，在云端則是完全相反。這是因?yàn)樵圃O(shè)備具有更大的內(nèi)存帶寬和更高的并行性，而depthwise就是內(nèi)存受限的操作，pointwise則是計(jì)算受限的操作，MobileNet-V2上能觀察到同樣的特點(diǎn)。

AutoML是一個(gè)非常活躍而且有前途的研究和應(yīng)用方向，對(duì)其中內(nèi)容感興趣的同學(xué)，歡迎到有三AI知識(shí)星球的網(wǎng)絡(luò)結(jié)構(gòu)1000變-AutoML板塊進(jìn)行學(xué)習(xí)，數(shù)十期內(nèi)容定能滿足你的求知欲。

了解有三AI知識(shí)星球詳情請(qǐng)閱讀以下文章，掃碼即可加入。

【雜談】有三AI知識(shí)星球一周年了！為什么公眾號(hào)+星球才是完整的？

參考文獻(xiàn)

[1] Cubuk E D, Zoph B, Mane D, et al. Autoaugment: Learning augmentation policies from data[J]. arXiv preprint arXiv:1805.09501, 2018.

[2] Zoph B, Le Q V. Neural Architecture Search with Reinforcement Learning[J]. international conference on learning representations, 2017.

[3] Tan M, Le Q V. MixNet: Mixed Depthwise Convolutional Kernels[J]. arXiv preprint arXiv:1907.09595, 2019.

[4] Tan M, Le Q V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[C]. international conference on machine learning, 2019: 6105-6114.

[5]?Ramachandran P, Zoph B, Le Q V. Searching for activation functions[J]. arXiv preprint arXiv:1710.05941, 2017.

[6] Luo P, Ren J, Peng Z, et al. Differentiable learning-to-normalize via switchable normalization[J]. arXiv preprint arXiv:1806.10779, 2018.

[7] Bello I, Zoph B, Vasudevan V, et al. Neural optimizer search with reinforcement learning[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 459-468.

[8] Li C, Lin C, Guo M, et al. AM-LFS: AutoML for Loss Function Search[J]. arXiv preprint arXiv:1905.07375, 2019.

[9]?He Y, Lin J, Liu Z, et al. Amc: Automl for model compression and acceleration on mobile devices[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 784-800.

[10]?Wang K, Liu Z, Lin Y, et al. HAQ: Hardware-Aware Automated Quantization with Mixed Precision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 8612-8620.

總結(jié)

本次我們總結(jié)了AutoML在深度學(xué)習(xí)模型設(shè)計(jì)和優(yōu)化中的核心技術(shù)，推薦了相關(guān)的學(xué)習(xí)資源，AI不惑境的文章也是最后一期了，通過(guò)這十二期文章，希望有助于大家掌握深度學(xué)習(xí)模型的使用。

有三AI秋季劃-模型優(yōu)化組

如果你想系統(tǒng)性地學(xué)習(xí)模型優(yōu)化相關(guān)的理論和實(shí)踐，并獲得持續(xù)的指導(dǎo)，歡迎加入有三AI秋季劃-模型優(yōu)化組，系統(tǒng)性地學(xué)習(xí)數(shù)據(jù)使用，模型使用和調(diào)參，模型性能分析，緊湊模型設(shè)計(jì)，模型剪枝，模型量化，模型部署，NAS等內(nèi)容。

模型優(yōu)化組介紹和往期的一些學(xué)習(xí)內(nèi)容總結(jié)請(qǐng)參考閱讀以下文章：

【通知】如何讓你的2020年秋招CV項(xiàng)目經(jīng)歷更加硬核，可深入學(xué)習(xí)有三秋季劃4大領(lǐng)域32個(gè)方向

【總結(jié)】有三AI秋季劃模型優(yōu)化組3月直播講了哪些內(nèi)容，為什么每一個(gè)從事深度學(xué)習(xí)的同學(xué)都應(yīng)該掌握模型優(yōu)化的內(nèi)容

轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系

侵權(quán)必究

往期精選

• 【完結(jié)】深度學(xué)習(xí)CV算法工程師從入門到初級(jí)面試有多遠(yuǎn)，大概是25篇文章的距離

• 【完結(jié)】?jī)?yōu)秀的深度學(xué)習(xí)從業(yè)者都有哪些優(yōu)秀的習(xí)慣

• 【完結(jié)】給新手的12大深度學(xué)習(xí)開(kāi)源框架快速入門項(xiàng)目

• 【完結(jié)】總結(jié)12大CNN主流模型架構(gòu)設(shè)計(jì)思想

• 【知乎直播】千奇百怪的CNN網(wǎng)絡(luò)架構(gòu)等你來(lái)

• 【AI不惑境】數(shù)據(jù)壓榨有多狠，人工智能就有多成功

• 【AI不惑境】網(wǎng)絡(luò)深度對(duì)深度學(xué)習(xí)模型性能有什么影響？

• 【AI不惑境】網(wǎng)絡(luò)的寬度如何影響深度學(xué)習(xí)模型的性能？

• 【AI不惑境】學(xué)習(xí)率和batchsize如何影響模型的性能？

• 【AI不惑境】殘差網(wǎng)絡(luò)的前世今生與原理

• 【AI不惑境】移動(dòng)端高效網(wǎng)絡(luò)，卷積拆分和分組的精髓

• 【AI不惑境】深度學(xué)習(xí)中的多尺度模型設(shè)計(jì)

• 【AI不惑境】計(jì)算機(jī)視覺(jué)中注意力機(jī)制原理及其模型發(fā)展和應(yīng)用

• 【AI不惑境】模型剪枝技術(shù)原理及其發(fā)展現(xiàn)狀和展望

• 【AI不惑境】模型量化技術(shù)原理及其發(fā)展現(xiàn)狀和展望

• 【AutoML】如何選擇最合適的數(shù)據(jù)增強(qiáng)操作

• 【AutoML】激活函數(shù)如何進(jìn)行自動(dòng)學(xué)習(xí)和配置

• 【AutoML】歸一化(Normalization)方法如何進(jìn)行自動(dòng)學(xué)習(xí)和配置

• 【AutoML】?jī)?yōu)化方法可以進(jìn)行自動(dòng)搜索學(xué)習(xí)嗎？

• 【AutoML】損失函數(shù)也可以進(jìn)行自動(dòng)搜索學(xué)習(xí)嗎？

• 【AutoML】如何使用強(qiáng)化學(xué)習(xí)進(jìn)行模型剪枝？

• 【AutoML】強(qiáng)化學(xué)習(xí)如何用于模型量化？

• 【AutoML】當(dāng)前有哪些可用的AutoML平臺(tái)？

總結(jié)

以上是生活随笔為你收集整理的【AI不惑境】AutoML在深度学习模型设计和优化中有哪些用处？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。