選自arxiv

作者：Saining Xie、Alexander Kirillov、Ross Girshick、Kaiming He

機(jī)器之心編譯

隨機(jī)連接的神經(jīng)網(wǎng)絡(luò)性能居然比人工設(shè)計的網(wǎng)絡(luò)(ResNet、ShuffleNet等)還要好？最近，FAIR何愷明等人提交了一篇論文，其模型性能讓人覺得有點不可思議。

在該研究中，來自 FAIR 的研究人員謝賽寧、Alexander Kirillov 、Ross Girshick 與何愷明通過隨機(jī)神經(jīng)網(wǎng)絡(luò)連接的方式探索了比此前神經(jīng)架構(gòu)搜索更為廣泛的連接形式，并實現(xiàn)了很好的效果。

今天我們所說的深度學(xué)習(xí)是從認(rèn)知科學(xué)的連接主義方法發(fā)展而來的，這一范式反映了一種假設(shè)，即計算網(wǎng)絡(luò)如何連接對構(gòu)建智能機(jī)器至關(guān)重要。與這一觀點相互呼應(yīng)，計算機(jī)視覺領(lǐng)域的最新模型也由鏈?zhǔn)竭B接轉(zhuǎn)向更加精細(xì)的連接方式，如 ResNet、DenseNet，由于其連接方式更加精細(xì)，這些模型在很大程度上是有效的。

神經(jīng)架構(gòu)搜索(NAS)的出現(xiàn)推動了這一趨勢的發(fā)展，已經(jīng)成為聯(lián)合搜索連接方式和操作的有前景的研究方向。在聚焦搜索的同時，NAS 方法隱式地依賴于一種叫做網(wǎng)絡(luò)生成器(network generator)的重要(但很大程度上被忽視的)組件。

NAS 網(wǎng)絡(luò)生成器定義了一系列可能的連接方式，網(wǎng)絡(luò)根據(jù)可學(xué)習(xí)的概率分布從網(wǎng)絡(luò)生成器中進(jìn)行采樣。然而，和 ResNet 和 DenseNet 中的連接方式一樣，NAS 網(wǎng)絡(luò)生成器是手工設(shè)計的，支持的連接方式空間被限制在所有可能圖的一個小小的子集中。從這一角度出發(fā)，我們會問：如果我們放松這一限制并設(shè)計新的網(wǎng)絡(luò)生成器會怎么樣？

謝賽寧、何愷明等研究者通過從隨機(jī)網(wǎng)絡(luò)生成器中采樣的隨機(jī)連接神經(jīng)網(wǎng)絡(luò)來探索這個問題，生成器中的生成結(jié)果由人類設(shè)計的隨機(jī)過程定義。為了減少研究者的偏好對生成器造成的影響，他們使用了圖論中三組經(jīng)典的隨機(jī)圖模型：Erdos-Renyi(ER)、Barabasi-Albert(BA)和 Watts-Strogatz(WS)模型。為了定義完整的網(wǎng)絡(luò)，研究者將隨機(jī)圖轉(zhuǎn)換成有向無環(huán)圖(DAG)，并應(yīng)用了一個從節(jié)點到其功能角色(如同一類型的卷積)的簡單映射。

結(jié)果出人意料：這些隨機(jī)生成器的幾個變體在 ImageNet 上產(chǎn)生了準(zhǔn)確率頗具競爭力的網(wǎng)絡(luò)。使用 WS 模型的最佳生成器生成的多個網(wǎng)絡(luò)性能優(yōu)于或可媲美全手工設(shè)計的同類網(wǎng)絡(luò)或通過各種神經(jīng)架構(gòu)搜索方法找到的網(wǎng)絡(luò)。

研究者還觀察到，同一生成器生成的不同隨機(jī)網(wǎng)絡(luò)的準(zhǔn)確率方差較低，但不同生成器生成的網(wǎng)絡(luò)準(zhǔn)確率差距可能較大。這些觀察結(jié)果表明，網(wǎng)絡(luò)生成器的設(shè)計非常重要。

研究者注意到，這些隨機(jī)連接網(wǎng)絡(luò)并非「prior free」，即使他們是隨機(jī)的。實際上，許多強(qiáng)先驗(strong prior)被隱式地設(shè)計到生成器中，包括選擇特定的規(guī)則和分布來控制連接或不連接某些節(jié)點的概率。每個隨機(jī)圖模型都具有一定的概率行為，使得采樣的圖可能具有某些屬性(例如，WS 是高度聚集的)。生成器的設(shè)計最終決定了網(wǎng)絡(luò)上的概率分布，因此這些網(wǎng)絡(luò)往往具有某些特性。生成器的設(shè)計是先驗的基礎(chǔ)，因此不應(yīng)被忽視。

在本文中，研究者探索了與 NAS 隨機(jī)搜索當(dāng)前研究 [23, 41] 不同的方向。那些研究表明，隨機(jī)搜索在「NAS 搜索空間」(即該研究所說的「NAS 網(wǎng)絡(luò)生成器」)中頗具競爭力。

他們的研究結(jié)果表明，NAS 生成器設(shè)計所產(chǎn)生的先驗往往可以生成好的模型，這與本研究的觀察結(jié)果相似。與之前的工作相比，本文研究者的工作超越了現(xiàn)有 NAS 生成器的設(shè)計，探索了不同的隨機(jī)生成器設(shè)計。

最后，本研究表明，從設(shè)計單個網(wǎng)絡(luò)到設(shè)計網(wǎng)絡(luò)生成器的過渡是可能實現(xiàn)的，類似于從設(shè)計特征到設(shè)計學(xué)習(xí)特征的網(wǎng)絡(luò)的過渡。研究者建議設(shè)計新的網(wǎng)絡(luò)生成器，生成用于搜索的新模型集合，而不是聚焦于使用固定生成器進(jìn)行搜索。

(NAS 等中)網(wǎng)絡(luò)生成器設(shè)計的重要性還表明，機(jī)器學(xué)習(xí)還沒有實現(xiàn)自動化(參見 AutoML [20])——即基本的人類設(shè)計和先驗從網(wǎng)絡(luò)工程轉(zhuǎn)向了網(wǎng)絡(luò)生成器工程。

隨機(jī)連接神經(jīng)網(wǎng)絡(luò)

對 NAS 的分析表明，該網(wǎng)絡(luò)生成器是手動設(shè)計的，且根據(jù)人類知識對先驗進(jìn)行編碼。網(wǎng)絡(luò)生成器的設(shè)計很可能起著很大的作用，這樣的話，當(dāng)前的方法還無法達(dá)到「AutoML」，而且仍需要大量的人力。

為了研究網(wǎng)絡(luò)生成器設(shè)計的重要性，只對同一 NAS 生成器比較不同的(復(fù)雜或隨機(jī)的)優(yōu)化器是不夠的；有必要研究與 NAS 生成器非常不同的新的網(wǎng)絡(luò)生成器。

為此，研究者開始利用隨機(jī)連接神經(jīng)網(wǎng)絡(luò)。即，他們將定義網(wǎng)絡(luò)生成器，該生成器生成帶有隨機(jī)圖的網(wǎng)絡(luò)，服從于不同的人類特定先驗。為了最小化人類偏見(本文研究者對先驗的偏見)，研究者在研究中使用了三種經(jīng)典的隨機(jī)圖模型。其生成隨機(jī)連接網(wǎng)絡(luò)的方法包含以下概念：

邊緣操作。假設(shè)圖是有向的，研究者定義邊緣是數(shù)據(jù)流，即有向邊緣將數(shù)據(jù)(張量)從一個節(jié)點發(fā)送到另一個節(jié)點。

節(jié)點操作。有向圖中的節(jié)點可能有一些輸入邊緣和一些輸出邊緣。

圖 2. 隨機(jī)圖節(jié)點設(shè)計。這是一個節(jié)點(藍(lán)色)，有三個輸入端和 4 個輸出端，通過可學(xué)習(xí)的正權(quán)重 w_0、w_1、w_2 的加權(quán)來完成聚合。轉(zhuǎn)換器是 ReLU-convolution-BN 三元組，可簡單視作卷積。轉(zhuǎn)換后的數(shù)據(jù)作為 4 份副本發(fā)送出去。

圖 3. 在隨機(jī)圖形生成器上的比較：ER、BA 和 WS 在小計算量條件下的結(jié)果。每個指標(biāo)代表在 P、M 或(K、P)參數(shù)設(shè)置下的生成器的結(jié)果(x 軸)。縱軸為 ImageNet Top-1 準(zhǔn)確率，5 個隨機(jī)網(wǎng)絡(luò)生成的結(jié)果顯示為標(biāo)準(zhǔn)均值(std)。在最右側(cè)，WS(K、P=0)沒有隨機(jī)性。

圖 4. ER、BA 和 WS 生成隨機(jī)圖像的可視化。每個圖表代表由指定生成器采樣的一個隨機(jī)圖形實例。生成器即為圖 3 中的配置。每個計算圖的節(jié)點數(shù)為 N=32。紅色/藍(lán)色節(jié)點代表輸入/輸出節(jié)點，在一些情況下，會加入額外的唯一輸入/輸出節(jié)點(未顯示)。

論文：Exploring Randomly Wired Neural Networks for Image Recognition

論文地址：https://arxiv.org/abs/1904.01569

摘要：用于圖像識別的神經(jīng)網(wǎng)絡(luò)已經(jīng)通過人工設(shè)計，從簡單的鏈狀模型發(fā)展到具有復(fù)雜路徑的結(jié)構(gòu)。ResNet 和 DenseNet 的成功很大程度上歸功于它們的創(chuàng)新性線路設(shè)計。近日，神經(jīng)架構(gòu)搜索(NAS)的研究正在拓展連接和操作方式的聯(lián)合優(yōu)化，然而其可能的布線空間仍然受到約束——它們在搜索中仍受到手動設(shè)計的驅(qū)動。

在本論文中，我們通過隨機(jī)神經(jīng)網(wǎng)絡(luò)連接的方式探索了更為廣泛的連接形式。首先，我們定義了一個隨機(jī)網(wǎng)絡(luò)生成器的概念，它封裝了整個網(wǎng)絡(luò)的生成過程。這一封裝提供了 NAS 和隨機(jī)連接網(wǎng)絡(luò)的統(tǒng)一視圖。然后，我們使用三個經(jīng)典隨機(jī)圖模型為網(wǎng)絡(luò)生成隨機(jī)連接圖。結(jié)果令人驚訝：這些隨機(jī)生成的網(wǎng)絡(luò)變體在 ImageNet 圖像識別基準(zhǔn)測試中有著非常具有競爭力的準(zhǔn)確率。這些結(jié)果表明，相比于小搜索空間，專注于設(shè)計更好的網(wǎng)絡(luò)生成器或許可以帶來更大的技術(shù)突破。

圖 1. 由經(jīng)典的 Watts_Strogatz(WS)生成的隨機(jī)連接神經(jīng)網(wǎng)絡(luò)模型：在和 ResNet-50 使用相近算力的條件下，這三個隨機(jī)生成的網(wǎng)絡(luò)在 ImageNet 上實現(xiàn)了(從左至右)79.1%、79.1%、79.0% 的分類準(zhǔn)確率，ResNet 的準(zhǔn)確率為 77.1%。

PyTorch 實現(xiàn)

FAIR 提出的這些隨機(jī)連接神經(jīng)網(wǎng)絡(luò)看起來十分魔性，論文一經(jīng)提交就引起了人們的廣泛關(guān)注，很快就有了實現(xiàn)——來自 MINDsLab 的 Park Seung Won 試圖在 PyTorch 上實現(xiàn)它，并重現(xiàn)研究中的一些結(jié)果：

實現(xiàn)地址：https：//github.com/seungwonpark/RandWireNN?

本文為機(jī)器之心編譯，轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)。

?------------------------------------------------

加入機(jī)器之心(全職記者 / 實習(xí)生)：hr@jiqizhixin.com

投稿或?qū)で髨蟮?#xff1a;content@jiqizhixin.com

廣告 & 商務(wù)合作：bd@jiqizhixin.com

總結(jié)

以上是生活随笔為你收集整理的随机地址生成器_随机连接神经网络性能超过人工设计！何恺明等人发布新研究...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。