作者｜嚴志程

?來源｜機器之心

來自 Facebook AI 的嚴志程團隊發表一種新的神經架構的快速搜索算法。該算法采用自適應架構概率分布熵的架構采樣，能夠減少采樣樣本達 60%，加速搜索快 1.8 倍。此外，該算法還包括一種新的基于分解概率分布的由粗到細的搜索策略，進一步加速搜索快達 1.2 倍。該算法搜索性能優于 BigNAS、EfficientNet 和 FBNetV2 等算法。

就職于 Facebook AI 的嚴志程博士和他的同事最近在 CVPR 2021 發表了關于加速概率性神經架構搜索的最新工作。該工作提出了一種新的自適應架構分布熵的架構采樣方法來顯著加速搜索。同時，為了進一步加速在多變量空間中的搜索，他們通過在搜索初期使用分解的概率分布來極大減少架構搜索參數。結合上述兩種技巧，嚴志程團隊提出的搜索方法 FP-NAS 比 PARSEC [1] 快 2.1 倍，比 FBNetV2 [2] 快 1.9-3.5 倍，比 EfficientNet [3] 快 132 倍以上。FP-NAS 可以被用于直接搜索更大的模型。搜索得到 FP-NAS-L2 模型復雜度達到 1.0G FLOPS，在只采用簡單知識蒸餾的情況下，FP-NAS-L2 能夠比采用更復雜的就地蒸餾的 BigNAS-XL [4]模型，提高 0.7% 分類精度。

論文鏈接：

https://arxiv.org/abs/2011.10949

背景回顧和新方法簡要介紹

近年來，神經架構的設計逐漸從手動的人工設計變換到自動的算法搜索 (NAS)。早期 NAS 的方法基于進化和強化學習，搜索速度極慢。最近，可微分神經架構搜索方法(DNAS) 通過共享架構模型參數和計算架構參數梯度來加速搜索。但是由于需要在內存里為每一個模型層同時存放所有可能的架構選項，DNAS 的內存開銷隨著搜索空間的大小線性增長，使得它不適用在大搜索空間內搜索復雜度高的模型。另一方面，概率性神經架構搜索方法 PARSEC 每次只需要采樣一個架構，能極大減小內存開銷，但是因為每次參數更新需要采樣許多架構，搜索的速度較慢。

為了解決上述問題，嚴志程團隊提出兩個新的技巧。首先，PARSEC 方法中的固定架構采樣的方法被一種新的自適應架構概率分布熵的采樣方法取代。在搜索前期，算法會采樣更多的架構來充分探索搜索空間。在搜索后期，隨著架構概率分布熵的減小，算法減少采樣的數量來加速搜索。其次，搜索通常在多變量空間進行，比如卷積核的大小、模型層的寬度等。為了減少架構參數來加速搜索，在搜索前期，我們可以用分解的概率分布來表示搜索空間進行粗粒度搜索。在搜索后期，我們轉換到聯合的概率分布進行精細搜索。

這項 FP-NAS 工作的主要創新點和實驗結果如下：

• 提出一種新的自適應架構概率分布熵的采樣方法，能夠減少采樣的樣本達 60%，加速搜索快 1.8 倍。

• 提出一種新的基于分解概率分布的由粗到細的搜索策略，進一步加速搜索快達 1.2 倍。

• 對小模型搜索，FP-NAS 方法比 FBNetV2 方法快 3.5 倍，并且搜索得到的模型精度更高。

• 在搜索更大的復雜度達到 0.4G FLOPS 的模型時，FP-NAS 比 EfficientNet 快 132 倍，同時搜到的模型 FP-NAS-L0 在 ImageNet 上比 EfficientNet-B0 精度高 0.7%。直接搜索復雜度達到 1.0G FLOPS 的大模型時，FP-NAS 搜到的模型 FP-NAS-L2 精度比 EfficientNet-B2 高 0.4%。

• FP-NAS 通過把 Squeeze-Excite 模塊替換成 Split-Attention 來擴大搜索空間，同時證明單獨搜索各個模型層的 Attention splits 的必要性。

圖 1: 在 ImageNet 數據集上通過比較 FP-NAS 和其他 NAS 方法搜索得到的模型結果。

FP-NAS 搜索方法

基礎知識

在可微分神經架構搜索方法 DNAS 中，離散的模型層架構選擇被表示成連續的所有可能選擇的加權總和。

在概率性神經架構搜索方法 PARSEC 中，一個架構 A 可以被表示成所有 L 個模型層上的架構。架構的分布可以用一個概率來刻畫。假定，每個模型層的架構是獨立的，每個架構 A 的概率可以表示如下。

這里，α表示架構分布參數。對常見的圖像分類問題，我們有圖像 X 和類標記 y，PARSEC 的優化函數如下。

其中，ω表示模型參數。

自適應采樣

PARSEC 搜索方法在每個優化迭代中采樣 K 個固定數量的架構樣本。樣本的數量 K 是一個超參，通常需要手動調節來權衡搜索速度和最終架構的性能矛盾。在新提出的自適應采樣中，樣本的數量根據架構概率分布的熵進行自適應改變。

這里, ?Η表示分布熵, ?λ是一個預定義的系數。自適應采樣在搜索前期因為熵較高而采樣更多的架構。但是因為在搜索后期分布熵大大降低，我們只需要采樣少量架構就能獲得很好的搜索結果。

多變量空間中的由粗到細的搜索策略

在神經架構搜索中，我們經常對多個變量進行搜索。下面兩個表格分別呈現搜索空間的宏架構和微架構。

表 1: FBNetV2-F 搜索空間的宏架構。

表 2: FBNetV2 和 FP-NAS 搜索空間的微架構。

我們使用的搜索空間有 M=5 個變量 ，包括特征通道數、通道擴張比例、卷積核大小、非線性激活函數和注意力模塊里的 splits 數。假定每個變量的基數分別是 3、2、2、6 和 10，那么使用聯合概率分布表示搜素空間時需要 prod([3, 2, 2, 6, 10])=720 個架構參數。但是使用分解概率分布時，架構參數可以被減少到 sum([3, 2, 2, 6, 10])=23，相差 31 倍。

FP-NAS 搜索空間

我們在實驗中使用了 4 個不同的搜索空間：

• FBNetV2-F space。這是先前 FBNetV2 工作中提出的一個空間，一共包含6×10^25個不同的架構。

• FBNetV2-F-Fine space。在這個空間中，每個 MBConv 塊允許使用不同的架構。

• FBNetV2-F++ space。在這個空間中，原來的 SqueezeExcite 注意力模塊被新的 SplitAttention 模塊取代。split 的數目選擇從原來的 {0, 1} 被擴展到{0, 1, 2, 4}。

• FP-NAS space。為了支持搜索更大的神經架構，我們把 FBNetV2-F++ 的搜索宏架構變得更寬更深，同時提高輸入圖像的分辨率，得到三個更大的 FP-NAS 搜索空間 L0-L2。

圖 2: 含 Split-Attention 注意力模塊的 MBConv 模塊。

表 3: 三個包含不同復雜度模型的 FP-NAS 神經架構搜索空間。

主要實驗結果

我們隨機選擇 100 個 ImageNet 類的數據（ImageNet-100）用于神經架構搜索。不斷迭代地交替更新架構參數α和模型參數ω進行優化。

如何進行架構樣本采樣？

PARSEC 方法在每個優化迭代中固定采樣（FS: Fixed Sampling）若干個架構（K=8 或者 16）。在圖 3（a）中，我們發現固定樣本數目 K 和搜索得到的架構的精度 / 復雜度權衡（ATC: Accuracy-To-Complexity）高度相關。在圖 3（b）中，當 K 取值變大時，架構分布的概率熵下降得更快。在圖 3（c）中，我們發現在搜索階段結束的時候，ImageNet-100 上驗證集上的精度隨著 K 取值變大而變高。在圖 3（d）中，我們看到總共的采樣樣本數量和搜索時間都隨著 K 取值變大而線性增長。

對于新提出的自適應采樣方法(AS: Adaptive sampling)，我們試驗了不同的超參數。在圖 3（a）中，我們發現采用的自適應采樣搜索得到的架構已經能達到用Κ=14的固定采樣搜索得到的架構相似的 ATC，但是搜索時間大大縮短。在圖 3（b）中，我們發現采用的時候，自適應采樣方法將架構概率分布的熵降低到一個很低的水平，表明最有可能的架構已經被搜索到。在圖 3（c）中，我們發現采用的時候，自適應采樣方法在 ImageNet-100 驗證集上的分類精度已經和固定采樣方法的分類精度幾乎一樣高。在圖 3（d）中，我們看到與采用 K=14 的固定采樣方法相比，采用的自適應采樣方法能夠減少 60% 的樣本總數量，加快搜索達 1.8 倍。

圖 3: 固定采樣方法 (FS) 和自適應采樣方法 (AS) 的比較。

FP-NAS 方法自適應搜索空間的大小

在更大的搜索空間里，我們需要采樣更多的架構樣本來充分探索空間。對于固定采樣來說，使用一個固定的樣本量 K 會阻礙搜索得到最優的架構。對于自適應采樣來說，使用一個固定λ的仍然能夠保證樣本數量隨著架構分布熵來自動調整，不需要人工進行調參。為了驗證這一點，在表 4 中，我們比較了固定采樣和自適應采樣在 FBNetV2-F 和 FBNetV2-F-Fine 空間里的搜索結果。可以看到，在較小的 FBNetV2-F 空間中，使用兩種采樣方法得到的最終架構擁有相似的 ATC。但是在較大的 FBNetV2-F-Fine 空間中，在不手工改變超參 K 和 λ 的情況下，自適應方法得到的最終架構的分類精度高出 0.9%。

表 4: 比較采用不同采樣方法在不同搜索空間中得到的最終架構。

由粗到細的搜索策略

在圖 4 中，我們比較聯合概率分布 (JD) 和分解概率分布（FD）。在搜索前期迭代 80 次時，架構分布概率熵有很大不同(54.4 Vs 30.6)。但是在搜索后期，分解概率分布降低架構分布概率熵的速度卻較慢，并不能精確地區分一小部分高概率的架構。因此，我們提出混合架構分布概率調度(MD)。在搜索開始采用分解概率分布，然后在迭代θ次的時候，將其無縫轉換到聯合概率分布。在圖 4（a）中，我們呈現了采用不同的混合架構分布概率調度的搜索結果。由于其能夠在搜索前期和后期中都能較快降低架構分布概率熵，因此在自適應采樣的情況下，我們能夠顯著減少采樣的架構樣本數量。在圖 4（b）和表 5 中，我們驗證采用混合架構分布概率調度由粗到細的搜索策略能夠進一步減少架構樣本達 9%，加速搜索 1.2 倍，并且不影響最終搜索架構的性能。總結來說，當同時采用自適應樣本采樣和混合架構分布概率調度，FP-NAS 能夠減少采樣樣本數量達 64%，加快搜索達 2.1 倍。

圖 4: 比較聯合概率分布調度、分解概率分布調度和本文提出的混合概率分布調度。

表 5: 比較架構概率分布的調度和最終搜索架構的精度。

跟 FBNetV2 比較小模型的搜索結果

表 6：和 FBNetV2 搜索方法比較搜索小模型的結果。

我們使用同樣的 FBNetV2-F 搜索空間，比較 FP-NAS 和 FBNetV2 兩種不同的搜索方法。在表 6 中，我們發現 FP-NAS 可以加快搜索達 1.9 到 3.6 倍，并且最終得到的架構能達到更高的分類精度。

可搜索的 Split-Attention 模塊

表 7 中我們比較了在 FBNetV2-F 和 FBNetV2-F++ 空間中采用 FP-NAS 搜索得到的架構。我們發現在后者空間搜得的 FP-NAS-S++ 模型可以達到更好的精度 / 復雜度權衡。我們還把在前者空間搜得的 FP-NAS-S 模型進行簡單修改，把 splits 數目統一地從 1 改成 2 或者 4。我們發現通過這樣簡單統一的修改 splits 數目而得到的模型會有較差的精度 / 復雜度權衡。

表 7: 比較在 FBNetV2-F 和 FBNetV2-F++ 空間中搜索得到的架構。

大模型的搜索結果

我們在 FP-NAS L 空間里搜索復雜度為{0.4G, 0.7G, 1.0G} FLOPS 的大模型。結果見表 8 和圖 1。跟 EfficientNet 相比，FP-NAS-L0 模型和 EfficientNet-B0 模型的復雜度都是 0.4G FLOPS 左右，但是 FP-NAS 的搜索速度快了 132 倍，并且最終的模型分類精度提高了 0.7%。EfficientNet B1 和 B2 模型是通過擴大 B0 模型得到的。FP-NAS L1 和 L2 模型是直接搜索得到的。在搜索極大加速的情況，他們的分類精度分別提高了 0.9% 和 0.4%。?

表 8: 跟其他 NAS 搜索方法的比較。

其他 NAS 方法的比較

在表 8 里，我們還將 FP-NAS 跟其他主要搜索方法進行比較，并且確認 FP-NAS 搜索的高效率和最終模型的高性能。跟 BigNAS 相比，采用簡單知識蒸餾的 FP-NAS-L2 模型能夠比采用更復雜的就地蒸餾的 BigNAS-XL 模型，提高了 0.7% 分類精度。

更多的思考

自動化神經架構搜索已經成為一種主流的搭建深度模型的方法。盡管在搜索小模型方面，? 已有的搜索方法已經取得顯著進展，如何擴展他們用于直接快速地搜索更大的模型仍然是一個極具挑戰性的課題。本文 FP-NAS 的工作是基于概率性神經架構搜索的框架，在其低內存消耗優勢基礎上，顯著加速其搜索過程，使得 NAS 的科研工作朝著更好的可復制性和可擴展性方向邁進一步。??

主要作者介紹

嚴志程博士，臉書（Facebook）人工智能應用研究院主任科學家及技術經理。研究方向為大規模圖像視頻理解、物體和環境感知、及其在增強現實中的應用。FP-NAS、 HACS、HD-CNN 等科研項目的負責人和主要作者。2016 年于伊利諾伊香檳厄巴納分校獲得計算機科學專業的博士學位。從 2016 年至今，在臉書從事計算機視覺相關的科研項目和面向大規模應用的工程項目。曾主導開發臉書第一個商業產品的視覺識別服務，第一個實時處理 Facebook 和 Instagram 所有用戶視頻的大規模視頻語義理解服務。

?

引用文獻

[1] Probabilistic neural architecture search. arXiv preprint arXiv:1902.05116, 2019

[2] Fbnetv2: Differentiable neural architecture search for spatial and channel dimensions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12965–12974, 2020

[3] Efficientnet: Rethinking model scaling for convolutional neural networks. arXiv preprint arXiv:1905.11946, 2019.

[4] BigNAS: Scalingup neural architecture search with big single-stage models.arXiv preprint arXiv:2003.11142, 2020

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的CVPR 2021 | Facebook提出FP-NAS：搜索速度更快、分类精度更高、性能更好的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。