在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區，查看更多最新論文推薦。

這是 PaperDaily 的第 106?篇文章

Finding Better Topologies for Deep Convolutional Neural Networks by Evolution

@zhangjun 推薦

#Neural Architecture Search

本文通過用進化算法來做卷積神經網絡的架構優化，最大的亮點是給出了影響架構性能的關鍵因素：1. 深度；2. 各節點之間的連接性。通過進化算法優化網絡結構最大的瓶頸在于計算效率上，網絡架構的效果評價是一個耗時的工作，生成和變異出的大量個體都需要評價。

本文從一個最簡單的架構作為初始個體，通過預設定的 5 種變異方式（添加邊、節點、濾波器等操作）對原始個體進行變異優化，并通過可視化的方法對進化的過程進行了跟蹤分析，找到了一些規律。完全自動化地去設計架構比較難，但通過自動設計分析出的一些結論可以幫助提高人工設計的效率。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2303

Searching Toward Pareto-Optimal Device-Aware Neural Architectures

@zhangjun 推薦

#Multi-objective Optimization

本文來自 Google Research 和國立清華大學。大多數 NAS 的工作都針對優化結果在 test dataset 上的準確性，而忽略了在一些硬件設備（比如：手機）上的模型還應考慮延遲和功耗，由此可將單目標優化問題轉換成一個多目標優化問題，本文深入分析了兩種常見的多目標 NAS 模型 MONAS 和 DPP-Net，并在一些設備上進行了實驗對比。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2259

Neural Architecture Search: A Survey

@zhangjun 推薦

#Neural Architecture Search

深度學習模型在很多任務上都取得了不錯的效果，但調參對于深度模型來說是一項非常苦難的事情，眾多的超參數和網絡結構參數會產生爆炸性的組合，常規的 random search 和 grid search 效率非常低，因此最近幾年神經網絡的架構搜索和超參數優化成為一個研究熱點。

本文是一篇神經網絡架構搜索綜述文章，從 Search Space、Search Strategy、Performance Estimation Strategy 三個方面對架構搜索的工作進行了綜述，幾乎涵蓋了所有近幾年的優秀工作。

論文詳細解讀：神經網絡架構搜索（NAS）綜述 | 附AutoML資料推薦

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2249

Reinforced Evolutionary Neural Architecture Search

@zhangjun 推薦

#Neural Architecture Search

本文來自 arXiv，作者來自自動化所和地平線。用進化算法來搜索模型結構存在算法不穩定的問題，用強化學習來搜索存在效率存在一定的問題，于是本文將兩者結合起來，各取其長。整體框架是基于進化算法，而 mutation 操作是用到了強化學習來控制。在 CIFAR-10 上用了更少的計算資源，得到了較優的結果。并在移動端進行了測試，在保證較高準確率的基礎上，用了較少的參數量。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2311

DARTS: Differentiable Architecture Search

@WildCat 推薦

#Neural Architecture Search

本文來自 CMU 和 DeepMind。當前最佳的架構搜索算法盡管性能優越，但需要很高的計算開銷。與傳統的在離散的和不可微的搜索空間上采用進化或強化學習搜索結構的方法不同，本文提出了一個高效架構搜索方法 DARTS（可微架構搜索），將搜索空間松弛為連續的，從而架構可以通過梯度下降并根據在驗證集上的表現進行優化。

作者在 CIFAR-10，ImageNet，Penn Treebank 和 WikiText-2 上進行了大量實驗，表明本文算法擅于發現用于圖像分類的高性能卷積結構和用于語言建模的循環神經網絡結構，同時比現有技術的非微分搜索技術要快幾個數量級。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2069

源碼鏈接

https://github.com/quark0/darts

Efficient Neural Architecture Search via Parameter Sharing

@Synced 推薦

#Neural Architecture Search

本文來自 Google Brain 和斯坦福大學，論文提出超越神經架構搜索（NAS）的高效神經架構搜索（ENAS），這是一種經濟的自動化模型設計方法，通過強制所有子模型共享權重從而提升了 NAS 的效率，克服了 NAS 算力成本巨大且耗時的缺陷，GPU 運算時間縮短了 1000 倍以上。

在 Penn Treebank 數據集上，ENAS 實現了 55.8 的測試困惑度；在 CIFAR-10 數據集上，其測試誤差達到了 2.89%，與 NASNet 不相上下（2.65% 的測試誤差）。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/1678

源碼鏈接

https://github.com/melodyguan/enas

A Flexible Approach to Automated RNN Architecture Generation

@Synced 推薦

#Recurrent Neural Network

本文來自 MIT 和 Salesforce Research，論文提出了一種用于循環神經網絡靈活自動化架構搜索的元學習策略，明確涵蓋搜索中的全新算子。該方法使用了靈活的 DSL 搜索和強化學習，在語言建模和機器翻譯等任務上表現良好。新方法可以讓我們擺脫依靠直覺的費力模型設計方式，同時也大大擴展了循環神經網絡的可能性空間。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/1406

Progressive Neural Architecture Search

@Synced 推薦

#Convolutional Neural Network

本文是約翰霍普金斯大學、Google AI 和斯坦福大學聯合發表于 ECCV 2018 的工作，論文提出了一種比之前的方法更高效的用于學習 CNN 結構的方法，其中沒有使用強化學習或遺傳算法，而是使用了基于序列模型的優化（SMBO）策略。在其中按復雜度逐漸增大的順序搜索架構，同時學習一個用于引導該搜索的代理函數（surrogate function），類似于 A* 搜索。

該方法在 CIFAR-10 數據集上找到了一個與 Zoph et al. (2017) 的強化學習方法有同等分類準確度（3.41% 錯誤率）的 CNN 結構，但速度卻快 2 倍（在所評估的模型的數量方面）。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/1369

源碼鏈接

https://github.com/chenxi116/PNASNet.TF

Hierarchical Representations for Efficient Architecture Search

@Nevertiree 推薦

#Neural Architecture Search

本文是 CMU 和 DeepMind 發表于 ICLR 2018 的工作，論文提出了一種結合模型結構分層表示和進化策略的高效架構搜索方法，可以模仿人類專家常用的模塊化設計模式，和支持復雜拓撲的表達能力很強的搜索空間。該算法能夠高效地發現性能超越大量人工設計的圖像分類模型的架構，在 CIFAR-10 上獲得了 top-1 誤差率 3.6% 的結果，在 ImageNet 上取得了 20.3% 的結果。

通過比較人工設計的架構、使用強化學習找到的架構、使用隨機或進化搜索找到的架構的實驗結果，研究者發現這種搜索方法能有效找到性能超越人工設計的架構。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/1233

Accelerating Neural Architecture Search using Performance Prediction

@velconia 推薦

#Neural Architecture Search

本文來自 MIT 和哈佛，論文針對 NN 的 AutoML 中遇到的 Early Stopping 問題，提出了一種新方法：用線性模型預測模型的最終訓練結果。AutoML 中，Hyperparameters 的搜索過程是一個 CPU Super Expensive 的過程，這個方法能夠降低大約 50% 的搜索時間。

這是一個新思路，并且我對這個方法做了一些實驗（主要在 CNN 上），效果確實還不錯，說明這是可行的，我認為在不論是手工調優還是自動調優，這個方法都是以后的訓練框架可以借鑒的。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/1897

數據集鏈接

https://github.com/MITAutoML/accelerating_nas

Large-Scale Evolution of Image Classifiers

@chlr1995 推薦

#Image Classification

本文是 Google 發表于 ICML 2017 的工作。要執行現實任務時，神經網絡需要專家大量的研究設計，而且通常只能執行單個具體的任務，例如識別照片中的目標等。人們希望擁有自動化的方法，為任意給定的任務生成合適的網絡架構。

先前有一些開創性的研究利用學習的方式來設計網絡結構。Google 想利用計算資源以前所未有的計算規模和盡量少的專家干預，獲得更好的解決方案。

Google 結合進化算法，以簡單的架構模塊和常用的初始條件，設置了一個演化過程，取得了不錯的結果。整個過程簡單粗暴，每次演化隨機刪除或添加一個結構模塊，或者添加 skip connection；同時過程中，保留優質的網絡作為親代，拋棄效果不好的網絡結構。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/1850

源碼鏈接

https://github.com/neuralix/google_evolution

Evolving Deep Neural Networks

@zhangjun 推薦

#Evolutionary Algorithm

本文來自 GECCO 2016，論文提出了一種改進 NEAT 的 DNN 網絡架構搜索方法，并在 CNN、RNN 和兩者的混合應用中進行了算法的驗證，取得了不錯的效果。本方法屬于現在比較火的 neuroevolution，包括 Google, DeepMind, OpenAI, Sentient, Uber 等在內的很多公司都在研究，用來設計效果更好的網絡結構。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2307

Genetic CNN

@zhangjun 推薦

#Genetic Algorithms

本文是約翰霍普金斯大學發表于 ICCV 2017 的工作，是一篇將遺傳算法用于 CNN 架構搜索問題的論文。文章探索了用遺傳算法的幾個標準步驟來解此問題，包括網絡架構的編碼，優秀個體的選擇，交叉和變異方法等，在幾個小型數據集上進行了實驗，并將小型實驗生成的優良結構應用于大型數據集取得了不錯的效果。

用進化算法做網絡架構搜索是一種很常見和經典的手段，但這類方法有個巨大的缺點就是計算量太大，因為太多的可行解需要進行評價，而每一次評價都是一個非常耗時的計算過程。所以，如何加速評價是解決目前網絡架構搜索問題的核心問題之一。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2306

源碼鏈接

https://github.com/aqibsaeed/Genetic-CNN

Designing Neural Network Architectures using Reinforcement Learning

@zhangjun 推薦

#Neural Architecture Search

本文是 MIT 發表于 ICLR 2017 的工作，論文提出了一種基于 Q-learning 的 meta modeling 方法，對特定任務進行 CNN 網絡架構的生成，取得了不錯的效果，屬于用強化學習來生成網絡架構中一種比較典型的做法。文章中考慮的情況比較簡單，將網絡搜索問題轉化為用強化學習對一個有限域狀態和動作的問題進行優化求解，優化變量考慮的比較簡單且都為離散化，整體感覺應用意義不大。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2274

源碼鏈接

https://github.com/MITAutoML/metaqnn

CMA-ES for Hyperparameter Optimization of Deep Neural Networks

@zhangjun 推薦

#Bayesian Optimization

本文是一篇 2016 年 ICLR 的 workshop paper，文章內容只介紹了實驗部分。本文將所有超參數都換為連續變量，用比較經典的一種連續域無梯度優化算法 CMA-ES 對問題進行優化求解，并和貝葉斯優化算法進行對比。本文的這種方法最大的優勢在于非常易于并行化處理，用更多的 GPU 可以達到非常不錯的效果。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2265

An Empirical Exploration of Recurrent Network Architectures

@zhangjun?推薦

#Recurrent Neural Networks

本文是 Google 發表于 ICML 2015 的工作，論文研究了用進化算法設計更好的 RNN 結構，以在更多的任務上表現超過 LSTM 和 GRU，但最終得到的三種最好結構和 GRU 的形式很像。

文中方法的思路仍是在現有的 LSTM 基礎上進行一些增加和刪除，即所謂的 mutation，這類做法相當于在非常多的排列組合中尋優，但問題維度空間的定義和變異方式的定義，已經從開始扼殺了創造新結構的動力。如何突破現有網絡結構，設計出全新的高性能架構是一個非常有趣的問題。

▲?論文模型：點擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2308

#推 薦 有 禮#

本期所有入選論文的推薦人

均將獲得PaperWeekly紀念周邊一份

▲?深度學習主題行李牌/卡套 + 防水貼紙

?禮物領取方式?

推薦人請根據論文詳情頁底部留言

添加小助手領取禮物

想要贏取以上周邊好禮？

點擊閱讀原文即刻推薦論文吧！

點擊以下標題查看往期推薦：?

• ??15篇最新AI論文了解一下 | 本周值得讀

• ??收下這12篇最新論文，煉丹不愁沒靈感

• ??暑假沒人帶怎么辦？還有我們為你推薦論文

• ??本周份AI論文推薦新鮮出爐！真的很skr了~
  

• ??本周最熱 AI 論文大集合，還不快一鍵收藏？

• 還在熬夜憋思路？這12篇最新論文打包送給你

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？?答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 打包下載本期論文

總結

以上是生活随笔為你收集整理的近期大热的AutoML领域，都有哪些值得读的论文？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。