近期大热的AutoML领域，都有哪些值得读的论文？
在碎片化閱讀充斥眼球的時(shí)代，越來越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。
在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。
點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。
這是 PaperDaily 的第 106?篇文章@zhangjun 推薦
#Neural Architecture Search
本文通過用進(jìn)化算法來做卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)優(yōu)化，最大的亮點(diǎn)是給出了影響架構(gòu)性能的關(guān)鍵因素：1. 深度；2. 各節(jié)點(diǎn)之間的連接性。通過進(jìn)化算法優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)最大的瓶頸在于計(jì)算效率上，網(wǎng)絡(luò)架構(gòu)的效果評(píng)價(jià)是一個(gè)耗時(shí)的工作，生成和變異出的大量個(gè)體都需要評(píng)價(jià)。
本文從一個(gè)最簡(jiǎn)單的架構(gòu)作為初始個(gè)體，通過預(yù)設(shè)定的 5 種變異方式（添加邊、節(jié)點(diǎn)、濾波器等操作）對(duì)原始個(gè)體進(jìn)行變異優(yōu)化，并通過可視化的方法對(duì)進(jìn)化的過程進(jìn)行了跟蹤分析，找到了一些規(guī)律。完全自動(dòng)化地去設(shè)計(jì)架構(gòu)比較難，但通過自動(dòng)設(shè)計(jì)分析出的一些結(jié)論可以幫助提高人工設(shè)計(jì)的效率。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2303
@zhangjun 推薦
#Multi-objective Optimization
本文來自 Google Research 和國立清華大學(xué)。大多數(shù) NAS 的工作都針對(duì)優(yōu)化結(jié)果在 test dataset 上的準(zhǔn)確性，而忽略了在一些硬件設(shè)備（比如：手機(jī)）上的模型還應(yīng)考慮延遲和功耗，由此可將單目標(biāo)優(yōu)化問題轉(zhuǎn)換成一個(gè)多目標(biāo)優(yōu)化問題，本文深入分析了兩種常見的多目標(biāo) NAS 模型 MONAS 和 DPP-Net，并在一些設(shè)備上進(jìn)行了實(shí)驗(yàn)對(duì)比。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2259
Neural Architecture Search: A Survey
@zhangjun 推薦
#Neural Architecture Search
深度學(xué)習(xí)模型在很多任務(wù)上都取得了不錯(cuò)的效果，但調(diào)參對(duì)于深度模型來說是一項(xiàng)非常苦難的事情，眾多的超參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)會(huì)產(chǎn)生爆炸性的組合，常規(guī)的 random search 和 grid search 效率非常低，因此最近幾年神經(jīng)網(wǎng)絡(luò)的架構(gòu)搜索和超參數(shù)優(yōu)化成為一個(gè)研究熱點(diǎn)。
本文是一篇神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索綜述文章，從 Search Space、Search Strategy、Performance Estimation Strategy 三個(gè)方面對(duì)架構(gòu)搜索的工作進(jìn)行了綜述，幾乎涵蓋了所有近幾年的優(yōu)秀工作。
論文詳細(xì)解讀：神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）綜述 | 附AutoML資料推薦
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2249
@zhangjun 推薦
#Neural Architecture Search
本文來自 arXiv，作者來自自動(dòng)化所和地平線。用進(jìn)化算法來搜索模型結(jié)構(gòu)存在算法不穩(wěn)定的問題，用強(qiáng)化學(xué)習(xí)來搜索存在效率存在一定的問題，于是本文將兩者結(jié)合起來，各取其長。整體框架是基于進(jìn)化算法，而 mutation 操作是用到了強(qiáng)化學(xué)習(xí)來控制。在 CIFAR-10 上用了更少的計(jì)算資源，得到了較優(yōu)的結(jié)果。并在移動(dòng)端進(jìn)行了測(cè)試，在保證較高準(zhǔn)確率的基礎(chǔ)上，用了較少的參數(shù)量。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2311
@WildCat 推薦
#Neural Architecture Search
本文來自 CMU 和 DeepMind。當(dāng)前最佳的架構(gòu)搜索算法盡管性能優(yōu)越，但需要很高的計(jì)算開銷。與傳統(tǒng)的在離散的和不可微的搜索空間上采用進(jìn)化或強(qiáng)化學(xué)習(xí)搜索結(jié)構(gòu)的方法不同，本文提出了一個(gè)高效架構(gòu)搜索方法 DARTS（可微架構(gòu)搜索），將搜索空間松弛為連續(xù)的，從而架構(gòu)可以通過梯度下降并根據(jù)在驗(yàn)證集上的表現(xiàn)進(jìn)行優(yōu)化。
作者在 CIFAR-10，ImageNet，Penn Treebank 和 WikiText-2 上進(jìn)行了大量實(shí)驗(yàn)，表明本文算法擅于發(fā)現(xiàn)用于圖像分類的高性能卷積結(jié)構(gòu)和用于語言建模的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)比現(xiàn)有技術(shù)的非微分搜索技術(shù)要快幾個(gè)數(shù)量級(jí)。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2069
源碼鏈接
https://github.com/quark0/darts
@Synced 推薦
#Neural Architecture Search
本文來自 Google Brain 和斯坦福大學(xué)，論文提出超越神經(jīng)架構(gòu)搜索（NAS）的高效神經(jīng)架構(gòu)搜索（ENAS），這是一種經(jīng)濟(jì)的自動(dòng)化模型設(shè)計(jì)方法，通過強(qiáng)制所有子模型共享權(quán)重從而提升了 NAS 的效率，克服了 NAS 算力成本巨大且耗時(shí)的缺陷，GPU 運(yùn)算時(shí)間縮短了 1000 倍以上。
在 Penn Treebank 數(shù)據(jù)集上，ENAS 實(shí)現(xiàn)了 55.8 的測(cè)試?yán)Щ蠖?#xff1b;在 CIFAR-10 數(shù)據(jù)集上，其測(cè)試誤差達(dá)到了 2.89%，與 NASNet 不相上下（2.65% 的測(cè)試誤差）。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/1678
源碼鏈接
https://github.com/melodyguan/enas
@Synced 推薦
#Recurrent Neural Network
本文來自 MIT 和 Salesforce Research，論文提出了一種用于循環(huán)神經(jīng)網(wǎng)絡(luò)靈活自動(dòng)化架構(gòu)搜索的元學(xué)習(xí)策略，明確涵蓋搜索中的全新算子。該方法使用了靈活的 DSL 搜索和強(qiáng)化學(xué)習(xí)，在語言建模和機(jī)器翻譯等任務(wù)上表現(xiàn)良好。新方法可以讓我們擺脫依靠直覺的費(fèi)力模型設(shè)計(jì)方式，同時(shí)也大大擴(kuò)展了循環(huán)神經(jīng)網(wǎng)絡(luò)的可能性空間。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/1406
@Synced 推薦
#Convolutional Neural Network
本文是約翰霍普金斯大學(xué)、Google AI 和斯坦福大學(xué)聯(lián)合發(fā)表于 ECCV 2018 的工作，論文提出了一種比之前的方法更高效的用于學(xué)習(xí) CNN 結(jié)構(gòu)的方法，其中沒有使用強(qiáng)化學(xué)習(xí)或遺傳算法，而是使用了基于序列模型的優(yōu)化（SMBO）策略。在其中按復(fù)雜度逐漸增大的順序搜索架構(gòu)，同時(shí)學(xué)習(xí)一個(gè)用于引導(dǎo)該搜索的代理函數(shù)（surrogate function），類似于 A* 搜索。
該方法在 CIFAR-10 數(shù)據(jù)集上找到了一個(gè)與 Zoph et al. (2017) 的強(qiáng)化學(xué)習(xí)方法有同等分類準(zhǔn)確度（3.41% 錯(cuò)誤率）的 CNN 結(jié)構(gòu)，但速度卻快 2 倍（在所評(píng)估的模型的數(shù)量方面）。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/1369
源碼鏈接
https://github.com/chenxi116/PNASNet.TF
@Nevertiree 推薦
#Neural Architecture Search
本文是 CMU 和 DeepMind 發(fā)表于 ICLR 2018 的工作，論文提出了一種結(jié)合模型結(jié)構(gòu)分層表示和進(jìn)化策略的高效架構(gòu)搜索方法，可以模仿人類專家常用的模塊化設(shè)計(jì)模式，和支持復(fù)雜拓?fù)涞谋磉_(dá)能力很強(qiáng)的搜索空間。該算法能夠高效地發(fā)現(xiàn)性能超越大量人工設(shè)計(jì)的圖像分類模型的架構(gòu)，在 CIFAR-10 上獲得了 top-1 誤差率 3.6% 的結(jié)果，在 ImageNet 上取得了 20.3% 的結(jié)果。
通過比較人工設(shè)計(jì)的架構(gòu)、使用強(qiáng)化學(xué)習(xí)找到的架構(gòu)、使用隨機(jī)或進(jìn)化搜索找到的架構(gòu)的實(shí)驗(yàn)結(jié)果，研究者發(fā)現(xiàn)這種搜索方法能有效找到性能超越人工設(shè)計(jì)的架構(gòu)。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/1233
@velconia 推薦
#Neural Architecture Search
本文來自 MIT 和哈佛，論文針對(duì) NN 的 AutoML 中遇到的 Early Stopping 問題，提出了一種新方法：用線性模型預(yù)測(cè)模型的最終訓(xùn)練結(jié)果。AutoML 中，Hyperparameters 的搜索過程是一個(gè) CPU Super Expensive 的過程，這個(gè)方法能夠降低大約 50% 的搜索時(shí)間。
這是一個(gè)新思路，并且我對(duì)這個(gè)方法做了一些實(shí)驗(yàn)（主要在 CNN 上），效果確實(shí)還不錯(cuò)，說明這是可行的，我認(rèn)為在不論是手工調(diào)優(yōu)還是自動(dòng)調(diào)優(yōu)，這個(gè)方法都是以后的訓(xùn)練框架可以借鑒的。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/1897
數(shù)據(jù)集鏈接
https://github.com/MITAutoML/accelerating_nas
@chlr1995 推薦
#Image Classification
本文是 Google 發(fā)表于 ICML 2017 的工作。要執(zhí)行現(xiàn)實(shí)任務(wù)時(shí)，神經(jīng)網(wǎng)絡(luò)需要專家大量的研究設(shè)計(jì)，而且通常只能執(zhí)行單個(gè)具體的任務(wù)，例如識(shí)別照片中的目標(biāo)等。人們希望擁有自動(dòng)化的方法，為任意給定的任務(wù)生成合適的網(wǎng)絡(luò)架構(gòu)。
先前有一些開創(chuàng)性的研究利用學(xué)習(xí)的方式來設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)。Google 想利用計(jì)算資源以前所未有的計(jì)算規(guī)模和盡量少的專家干預(yù)，獲得更好的解決方案。
Google 結(jié)合進(jìn)化算法，以簡(jiǎn)單的架構(gòu)模塊和常用的初始條件，設(shè)置了一個(gè)演化過程，取得了不錯(cuò)的結(jié)果。整個(gè)過程簡(jiǎn)單粗暴，每次演化隨機(jī)刪除或添加一個(gè)結(jié)構(gòu)模塊，或者添加 skip connection；同時(shí)過程中，保留優(yōu)質(zhì)的網(wǎng)絡(luò)作為親代，拋棄效果不好的網(wǎng)絡(luò)結(jié)構(gòu)。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/1850
源碼鏈接
https://github.com/neuralix/google_evolution
@zhangjun 推薦
#Evolutionary Algorithm
本文來自 GECCO 2016，論文提出了一種改進(jìn) NEAT 的 DNN 網(wǎng)絡(luò)架構(gòu)搜索方法，并在 CNN、RNN 和兩者的混合應(yīng)用中進(jìn)行了算法的驗(yàn)證，取得了不錯(cuò)的效果。本方法屬于現(xiàn)在比較火的 neuroevolution，包括 Google, DeepMind, OpenAI, Sentient, Uber 等在內(nèi)的很多公司都在研究，用來設(shè)計(jì)效果更好的網(wǎng)絡(luò)結(jié)構(gòu)。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2307
@zhangjun 推薦
#Genetic Algorithms
本文是約翰霍普金斯大學(xué)發(fā)表于 ICCV 2017 的工作，是一篇將遺傳算法用于 CNN 架構(gòu)搜索問題的論文。文章探索了用遺傳算法的幾個(gè)標(biāo)準(zhǔn)步驟來解此問題，包括網(wǎng)絡(luò)架構(gòu)的編碼，優(yōu)秀個(gè)體的選擇，交叉和變異方法等，在幾個(gè)小型數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并將小型實(shí)驗(yàn)生成的優(yōu)良結(jié)構(gòu)應(yīng)用于大型數(shù)據(jù)集取得了不錯(cuò)的效果。
用進(jìn)化算法做網(wǎng)絡(luò)架構(gòu)搜索是一種很常見和經(jīng)典的手段，但這類方法有個(gè)巨大的缺點(diǎn)就是計(jì)算量太大，因?yàn)樘嗟目尚薪庑枰M(jìn)行評(píng)價(jià)，而每一次評(píng)價(jià)都是一個(gè)非常耗時(shí)的計(jì)算過程。所以，如何加速評(píng)價(jià)是解決目前網(wǎng)絡(luò)架構(gòu)搜索問題的核心問題之一。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2306
源碼鏈接
https://github.com/aqibsaeed/Genetic-CNN
@zhangjun 推薦
#Neural Architecture Search
本文是 MIT 發(fā)表于 ICLR 2017 的工作，論文提出了一種基于 Q-learning 的 meta modeling 方法，對(duì)特定任務(wù)進(jìn)行 CNN 網(wǎng)絡(luò)架構(gòu)的生成，取得了不錯(cuò)的效果，屬于用強(qiáng)化學(xué)習(xí)來生成網(wǎng)絡(luò)架構(gòu)中一種比較典型的做法。文章中考慮的情況比較簡(jiǎn)單，將網(wǎng)絡(luò)搜索問題轉(zhuǎn)化為用強(qiáng)化學(xué)習(xí)對(duì)一個(gè)有限域狀態(tài)和動(dòng)作的問題進(jìn)行優(yōu)化求解，優(yōu)化變量考慮的比較簡(jiǎn)單且都為離散化，整體感覺應(yīng)用意義不大。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2274
源碼鏈接
https://github.com/MITAutoML/metaqnn
@zhangjun 推薦
#Bayesian Optimization
本文是一篇 2016 年 ICLR 的 workshop paper，文章內(nèi)容只介紹了實(shí)驗(yàn)部分。本文將所有超參數(shù)都換為連續(xù)變量，用比較經(jīng)典的一種連續(xù)域無梯度優(yōu)化算法 CMA-ES 對(duì)問題進(jìn)行優(yōu)化求解，并和貝葉斯優(yōu)化算法進(jìn)行對(duì)比。本文的這種方法最大的優(yōu)勢(shì)在于非常易于并行化處理，用更多的 GPU 可以達(dá)到非常不錯(cuò)的效果。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2265
@zhangjun?推薦
#Recurrent Neural Networks
本文是 Google 發(fā)表于 ICML 2015 的工作，論文研究了用進(jìn)化算法設(shè)計(jì)更好的 RNN 結(jié)構(gòu)，以在更多的任務(wù)上表現(xiàn)超過 LSTM 和 GRU，但最終得到的三種最好結(jié)構(gòu)和 GRU 的形式很像。
文中方法的思路仍是在現(xiàn)有的 LSTM 基礎(chǔ)上進(jìn)行一些增加和刪除，即所謂的 mutation，這類做法相當(dāng)于在非常多的排列組合中尋優(yōu)，但問題維度空間的定義和變異方式的定義，已經(jīng)從開始扼殺了創(chuàng)造新結(jié)構(gòu)的動(dòng)力。如何突破現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)出全新的高性能架構(gòu)是一個(gè)非常有趣的問題。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2308
#推 薦 有 禮#
本期所有入選論文的推薦人
均將獲得PaperWeekly紀(jì)念周邊一份
▲?深度學(xué)習(xí)主題行李牌/卡套 + 防水貼紙
?禮物領(lǐng)取方式?
推薦人請(qǐng)根據(jù)論文詳情頁底部留言
添加小助手領(lǐng)取禮物
想要贏取以上周邊好禮？
點(diǎn)擊閱讀原文即刻推薦論文吧！
點(diǎn)擊以下標(biāo)題查看往期推薦：?
??15篇最新AI論文了解一下 | 本周值得讀
??收下這12篇最新論文，煉丹不愁沒靈感
??暑假?zèng)]人帶怎么辦？還有我們?yōu)槟阃扑]論文
??本周份AI論文推薦新鮮出爐！真的很skr了~
??本周最熱 AI 論文大集合，還不快一鍵收藏？
還在熬夜憋思路？這12篇最新論文打包送給你
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？?答案就是：你不認(rèn)識(shí)的人。
總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。
??來稿標(biāo)準(zhǔn)：
? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?
? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志
? 投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?
? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通
?
現(xiàn)在，在「知乎」也能找到我們了
進(jìn)入知乎首頁搜索「PaperWeekly」
點(diǎn)擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點(diǎn)擊 |?閱讀原文?| 打包下載本期論文
總結(jié)
以上是生活随笔為你收集整理的近期大热的AutoML领域，都有哪些值得读的论文？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 变分自编码器VAE：一步到位的聚类方案
- 下一篇： 细水长flow之f-VAEs：Glow与