本文是在研究朱松純團隊中大量使用的“與或圖”概念而找到的一篇學習論文，下述論文并非朱松純團隊的，而是北卡州立大學一個博士生發明的，其實驗室專門研究可解釋性深度學習。

?

讀后感

• 作者干了什么事？

  • 業界第一個將圖像語法（與或圖）和深度學習相結合，創造出一種新型網絡結構：Deep Grammer Model，該結構在目標分類和目標檢測數據集上，獲得堪比ResNet的效果。

• 怎么實現的？

  • （細節暫時還沒看，下一步結合源碼詳細研究下）

• 是否有落地的價值？

  • 無論是精度還是速度，似乎很有開展遷移測試的價值。

?

《AOGNets: Compositional Grammatical Architectures for Deep Learning》，

基于語法模型（與或圖語法）的深度學習，CVPR2019，https://github.com/iVMCL/AOGNet-v2

?

摘要

神經結構是提高深度神經網絡(DNNs)性能的基礎。這篇文章介紹了深層的語法結構，利用了兩個世界的最好:語法模型和DNNs。所提出的結構原則地結合了前者的可組合性和可重構性，以及后者的可學習性和豐富的特征。在本文中，我們利用和或語法(AOG)[55, 75, 74]作為網絡生成器，并將生成的網絡稱為AOGNets。一個AOGNet由許多階段組成，每個階段都由許多AOG構建塊組成。一個AOG構建塊將它的輸入fea- ture map沿著特征通道分成N組，然后把它當作一個包含N個單詞的句子。然后在自底向上的句子分析中共同實現了短語結構語法和依賴語法，以更好地解釋句子的特征和重用。它為最先進的DNNs開發的最佳實踐提供了一個統一的框架。在實驗中，對AOGNet進行了CIFAR-10、CIFAR-100和ImageNet-1K分類基準測試和MS- COCO目標檢測和分割基準測試。在ci遠-10、ci遠-100和ImageNet-1K中，AOGNet的性能優于ResNet[23]及其大多數變異螞蟻、ResNeXt[66]和基于注意的變體SENet[27]、DenseNet[29]、DualPathNet[7]。AOGNet還通過網絡分析[4]得到了最佳模型可解釋性評分。AOGNet在對抗性防御中顯示出了更好的潛力。在MS-COCO中，AOGNet獲得比Mask R-CNN[22]中的ResNet和ResNeXt脊骨更好的表現。

1 介紹

1.1?動機和目的

近年來，深度神經網絡(DNNs)[38,33]在許多視覺任務中顯著提高了預測精度，并在圖像分類任務中獲得了超人的性能[23,58,29,7]。這些進展主要是通過共同解決兩個問題的工程網絡架構來實現的:通過深入或擴展來增加代表性的能力，以及通過使用隨機梯度下降的反向傳播來保持優化的可行性(例如，van- ishing和/或爆炸梯度問題)。鑒于目前DNNs缺乏理論基礎，這一戲劇性的成功并不一定說明其足夠充分。不同的方法值得探索，以擴大神經結構的范圍，尋求更好的DNNs。例如，Hinton最近指出了當前卷積神經網絡的一個關鍵缺陷:根據最近的神經科學研究，這些人工網絡沒有包含足夠的層次結構[25,53]。在本文中，我們感興趣的是語法引導的網絡生成器(圖1)。

圖1所示。說明我們的AOG構建塊語法指導網絡生成器。由此產生的網絡AOGNets在Ima- geNet中使用了40.3M參數，獲得了80.18%的top-1精度，顯著優于ResNet-152 (77.0%， 60.2M)、ResNeXt-101(79.6%， 8390萬)、DenseNet-Cosine-264 (79.6%， 73M)和DualPathNet-98(79.85%， 6160萬)。參見正文。(彩色觀看效果最佳)

神經結構設計和搜索可以作為乘積空間中包含兩個子空間的組合搜索問題(圖2 (a))：

• 由所有有向無環圖(DAGs)組成的結構空間，開始節點表示輸入原始數據，結束節點表示任務丟失函數。為獲得可行的補償，必須提供折扣。
• 一個DAG中包含所有可能的im- plementing節點的轉換函數的節點操作空間，如Convolu- tion+BatchNorm [31]+ReLU[33]，及其在不同內核大小和不同特征通道數下實現的瓶頸[23]。

圖2。舉例說明(a)神經結構的空間，(b)基于構造塊的設計，(c) GoogLeNet [58]， ResNet [23]， ResNeXt [66]， DenseNet[29]和DualPathNets[7]中流行的構造塊的例子。詳情見正文。

結構空間幾乎是無界的，給定結構的節點操作空間也是組合的。神經結構的設計和搜索是一個具有挑戰性的問題，由于搜索空間呈指數大，且目標函數高度非凸。如圖2 (b)所示，為了減輕這種差異，模擬神經結構設計和搜索，以設計或搜索積木結構。然后，DNN由預定義數量的階段組成，每個階段都有少量的構建塊。在一定假設條件下，[1]的理論研究也為這種基于分段的設計提供了理論支持。圖2 (c)顯示了一些具有不同結構的常用構造塊的例子。兩個問題自然出現了：

• 我們能否在一個簡單而優雅的框架中統一流行的構建塊所使用的最佳實踐?更重要的是，我們能否以一種有原則的方式生成建筑塊，從而形成網絡，從而有效地展開空間(圖2 (a)) ?(如果可行)
• 在不增加模型復雜性和計算成本的情況下，統一的構建塊/網絡生成器能否在精度、模型可解釋性和對抗魯棒性方面證明性能?如果是的話，其潛在的影響將是廣泛而深刻的，因為表征學在許多實際應用中都是如此。

為了解決上述問題,我們首先需要在站在設計底層智慧更好的網絡體系結構:它通常在于找到網絡結構能夠支持靈活多樣的信息流動為探索新功能,重用現有的功能在以前的層和back-propagating學習信號(例如,漸變)。那么，我們需要開發和制定哪些關鍵原則，以使我們能夠以一種比現有網絡更好的方式有效地展開圖2 (a)中的結構空間?組合性、可重構性和橫向連通性是認知科學、神經科學和模式理論中眾所周知的原則[13,47,19,14,34,14]。它們是人類學習豐富知識和適應不同環境的非凡能力的基礎，尤其是在視覺和語言方面。然而，它們還沒有完全明確地集成到DNNs中。

在本文中，我們提出了一種構造語法結構，它可以實現構造塊設計的組合性、可重組性和橫向連通性。我們使用and - or語法(AOG)[55, 75, 74]，并建議采用AOG構建塊來統一在現有流行構建塊中開發的最佳實踐。我們的方法深度集成了分層和組合語法以及DNNs，以便在深度表示學習中充分利用這兩個世界的優點。

為什么語法?在自然語言處理和計算機視覺中，語法模型是眾所周知的。圖像語法[75,10,74,13]是在深度神經網絡最近重新流行之前計算機視覺的主要方法之一。隨著（DNN）最近的復蘇，一個基本的難題出現了，語法模型更明確的組成結構和更好的分析和理論潛力，往往比他們的神經網絡對手表現得更差。

正如大衛·芒福德(David Mumford)所指出的那樣，語言語法只不過是更古老語法的最新延伸，所有智能動物的大腦都內置了這些語法，用來分析感官輸入，構造它們的動作，甚至形成它們的思維。[46]。我們提出的AOG構建塊在分析感覺輸入方面表達能力很強，彌補了文法和DNNs之間的性能差距。它還實現了靈活多樣的網絡結構，以滿足Hinton在DNNs[25]中提高結構充大性的要求。

1.2?方法概述

我們首先總結現有構建塊中的最佳實踐，然后簡要概述我們提出的AOG構建塊(圖1)，以及它如何統一現有的構建塊。

現有的構建模塊通常不能完全實現這三個原則(組合性、可重構性和橫向連接)。

• InceptionNets或GoogLeNets[58]采用了一種淺層前饋的分裂變換-聚合啟發式進行特征探索，其靈感來自于網絡中的網絡設計[42]和[1]分期設計的理論研究。然而，過濾器的數量和大小是為每個單獨的轉換而定制的，模塊是逐步定制的。交錯組卷積[71]具有類似的精神，但使用更簡單的方案。
• 受高速公路網[56]的啟發，ResNets[23]提供了一種簡單而有效的解決方案，使網絡能夠在不犧牲優化可行性的情況下享受深入或擴展的樂趣。從表示學習的角度來看，ResNet[23]中的跳轉連接有助于有效的特性重用。然而，他們沒有意識到在GoogLeNets中所做的拆分部分。
• ResNeXts在ResNets中添加了spit組件，并在轉換中使用組卷積解決了Inception模塊的缺點。
• Deep Pyramid ResNets[20]不像vanilla ResNets那樣在每個殘差單元下采樣時急劇增加特征通道，而是在構建塊之間逐漸增加特征通道。
• DenseNets[29]明確區分了添加到網絡的信息和保存的信息。使用了與特征圖連接在一起的密集連接，這對于特征探索是有效的，但缺乏像ResNets中那樣的特征重用能力。
• 雙路徑網絡(DPN)[7]并行利用ResNet塊和DenseNet塊來平衡feature重用和feature exploration。
• Deep Layer Aggregation networks (DLA)[69]在堆疊構建塊(如ResNet塊)時迭代和分層地聚合特征層次。

我們的AOG構建塊是分層的，組成和可重新配置的橫向連接設計。如圖1所示，一個AOG構建塊將其輸入的feature map沿著feature channels分成N組，并將其視為一個包含N個單詞的句子。然后共同實現了自下而上解析句子的短語結構語法(垂直組合)[12,13,11,75,74,55]和依賴語法(圖1中粉紅色的水平連接)[21,75,14]，以便更好地挖掘和重用特征：

• 短語結構語法是[55,65]方法的一維特例。它也可以理解為自然語言處理中著名的Cocke- young - kasami (CYK)解析算法根據二進制合成規則的修改版本。
• 依賴文法被集成以捕獲橫向連接，并提高表示的靈活性和功能。

在一個AOG構建塊中，每個節點對其輸入應用一些基本操作T(·)(例如，Conv-BN-ReLU)，節點有三種類型：

• 終端節點以輸入特征圖的一個按通道劃分的切片(即k-gram)作為輸入。
• and -node實現復合，它的輸入是通過連接其語法子節點的特征來計算的，如果存在橫向連接，則添加橫向連接。
• or節點表示備選組合，其輸入是其句法子節點的特征和如果存在橫向連接的元素智慧的總和。

我們的AOG構建塊統一了在流行構建塊中開發的最佳實踐，

• 終端節點實現了在GoogLeNets[58]和ResNeXts[66]中所做的分裂轉換啟發式(或組卷積)，但在多個級別上(包括重疊的組卷積)。它們還在多個級別上實現跳轉連接。與ResNets、densenet和DPNs中的基于級聯的疊加方案不同，termninel節點可以并行計算以提高效率。非終端節點實現聚合。
• and節點實現類似densenet的聚合(即連接)[29]，用于特性探索。
• or節點實現類似resnet的聚合(例如，求和)[23]以實現特性重用。
• 這種層次性使得Deep Pyramid ResNets[20]中特征通道逐漸增加，也使得網絡的深度和寬度得到很好的平衡。
• 復合結構提供了比DPN[7]和DLA更靈活的信息流[69]。
• 橫向連接在不引入額外參數的情況下，產生了特征多樣性，增加了節點沿路徑的有效深度。

我們堆疊AOG構建塊，形成一個深層的AOG網絡，稱為AOGNet。圖3示出了一個三級AOGNet。我們的AOGNet利用了語法的兩個優良特性:(1)基于原語字典和一組生成規則，有原則地構造不同網絡結構的靈活性和簡便性;以及(ii)它們明確的層次結構和組合結構的高度表達力和簡約緊湊。

圖3。3階段AOG網絡示意圖，第1、3階段為1個AOG構建塊，第2階段為2個AOG構建塊。注意，不同的階段可以使用不同的AOG構建塊。為了簡單起見，我們展示了相同的一個。主干可以是普通卷積也可以是卷積+MaxPooling。(彩色觀看效果最佳)

2 相關工作和我們的貢獻

網絡架構是提高DNNs性能的基礎。在本節中，我們主要關注手工構建的架構。神經結構搜索的相關工作可參考調查論文[9,68]。

手工制作的網絡架構。在5層LeNet5[38]提出20多年后，8層AlexNet[33]在2012年ImageNet[52]上的突破性表現引發了最近神經網絡的復蘇。AlexNet在操作員領域提出了兩種新的見解:直線單元(ReLu)和Dropout。從那時起，人們花了很多精力去學習更深入的類似alexnet.com的網絡，他們的直覺是越深越好。VGG網[5]提出了一個19層的網絡，其思路是使用多個連續層的小濾波器(如33)通過一層大濾波器獲得接受場，以及在卷積中采用較小的步長來保存信息。network-in-network[42]中提出了一種特殊的情況11卷積，用于減小或擴展連續層之間的特征維數，并在許多網絡中得到了廣泛的應用。VGG網絡還顯著增加了計算成本和內存占用。

22層的GoogLeNet[59]引入了第一個inception模塊和一個11卷積實現的瓶頸方案來降低計算量。進一步深層的主要障礙在于優化中的梯度消失問題，該問題在高速公路網[56]中提出并由ResNets[23]推廣的一種新的結構設計——短路徑或跳接解決，特別是與批量標準化(BN)[31]相結合時。在最近的文獻[23,58]中，超過100個層是流行的設計，甚至在像ImageNet這樣的大規模數據集上訓練了超過1000個層[30,72]。分形網絡[37]和深度融合網絡[63]提供了一種實現無殘差超深網絡訓練的捷徑的替代方法。作為對更深層次的補充，寬度在resnet和基于起始的網絡中也很重要[70,66,71]。DenseNets[29]超越了ResNets中的一階跳躍連接，提出了一種密集連接的網絡架構和連接方案，以實現特征的重用和挖掘;DPNs[7]提出了剩余和密集連接交替結合的方式，以實現更有效的特征挖掘和重用。DLA networks[69]進一步發展了迭代和層次聚合模式，獲得了很好的性能。跳連接和密集連接都使順序結構適應于有向和無環圖(DAG)結構的網絡，這在較早的遞歸神經網絡(RNN)[3,18]和ConvNets[67]中被探索過。

大部分工作集中在提高空間編碼和利用空間維數減少。壓縮和激發模塊[27]是最近提出的一種簡單而有效的方法，專注于信道編碼。沙漏網絡[48]提出了沙漏模塊，包括子抽樣和上抽樣，以享受自底向上/自頂向下的重復特性探索。

我們的AOGNet是由直觀的簡單但有原則的語法創建的。它與初始模塊[58]、深度融合網[63]和國防后偵局[69]具有相同的精神。

語法。[75]提出了圖像語法的一般框架。目標檢測語法是目標檢測的主要方法[10,74,55,41,39,40]，最近已經與DNNs相結合[60,61,6]。概率程序歸納[57,35,36]已成功地應用于許多場合，但在諸如大規模圖像分類和目標檢測等困難的視覺理解任務中并沒有表現出良好的性能。最近，遞歸皮層網絡[14]被提出在學習中具有更好的數據效率，它采用了AND-OR語法框架[75]，顯示了文法在開發通用AI系統中的巨大潛力。

我們的貢獻。本文在深度表示學習領域做出了兩大貢獻：

• 提出了用于深度學習的復合語法結構，并提出了深度和或語法網絡(AOGNets)。AOGNets以分層和組合的方式促進了特性探索和特性重用。AOGNets統一了最先進的DNNs(如GoogLeNets、ResNets、ResNeXts、DenseNets、DPN和DLA)開發的最佳實踐。據我們所知，這是設計語法引導的網絡生成器的第一項工作。
• 它在CIFAR和ImageNet-1K分類基準測試和MS-COCO目標檢測和分割基準測試中取得了比許多先進網絡更好的性能。它也獲得了更好的模型可解釋性，顯示了更大的潛力對抗性防御。

3 AOGNets

在本節中，我們首先介紹構建我們的AOGNets結構的細節。然后，為AOGNet中的節點定義節點操作函數。我們還提出了一種簡化整個結構的方法，該方法刪除了語法上對稱的節點。

3.1?AOGNet的結構

公式較多，見原文。

算法1:構造一個AOG積木塊
?

3.2 AOGNet中的節點操作

公式較多，見原文。

3.3?簡化AOG構建塊

短語結構語法是一種句法冗余的語法，它通過二元組合規則揭示了所有可能的構象。在表示學習中，我們也希望增加網絡中不同階段的特征維數以獲得更好的表示能力，但盡量不顯著增加參數總數。為了平衡我們的AOG構建塊的結構復雜性和特性維度，我們建議通過刪除一些語法上冗余的節點來簡化一個AOG構建塊的結構。如圖4所示，修剪算法很簡單:給定一個完整結構的AOG構建塊，我們從一個空的簡化塊開始。我們首先將根或節點添加到簡化的塊中。然后，我們遵循整個結構塊中節點的BFS順序。對于遇到的每個or節點，我們只保留簡化塊中當前子節點集合中沒有語法上對稱的左-右對應項的子節點。對于遇到的節點和終端節點，我們將它們添加到簡化塊中。修剪算法可以集成到算法1中。例如，考慮圖4左邊的根or節點的四個子節點，第四個子節點被刪除，因為它與第二個對稱。

圖4。說明通過修剪語法上對稱的or節點的子節點來簡化AOG構建塊。左:一個完整結構的AOG積木塊，由10個終端節點、10個和節點、10個或節點組成。要修剪的節點和邊用黃色標出。右:簡化的AOG積木塊，由8個終端節點、5個和節點、8個或節點組成。(彩色觀看效果最佳)

4 實驗

我們的AOGNet在CIFAR-10和CIFAR- 100[32]、ImageNet-1K[52]分類基準和MS-COCO目標檢測和分割基準[43]中進行了測試。

4.1?實現設置和詳細信息

公式較多，見原文。

4.2?ImageNet 1K中的圖像分類

ILSVRC 2012分類數據集[52]由大約120萬張用于訓練的圖像和50000張用于驗證的圖像組成，來自1000個類。我們采用與[23,29]相同的數據增強方案(隨機裁剪和水平翻轉)來訓練圖像，并在測試時使用尺寸為224 224的單次裁剪。根據通用協議，我們評估驗證集上的top-1和top-5分類錯誤率。

模型參數。我們測試了三種具有不同模型復雜性的AOGNets。相比之下，我們使用模型尺寸作為AOGNet的名稱標簽(例如，AOGNet- 12M表示AOGNet有1200萬個參數左右)。莖(見圖3)使用三個Conv3x3-BN層(第一層是stride 2)，然后是一個2倍最大的pooling層，使用stride 2。這三個AOGNets都使用四個階段。在一個階段中，我們使用相同的AOG構建塊，而不同的階段可能使用不同的塊。然后Nn指定一個階段，其中N是原始大小(算法1)，N是塊的數量。過濾器通道由一個5元組定義，用于指定4個階段的輸入和輸出維度。三種AOGNet的詳細規格為:AOGNet- 12m使用(22、41、43、21)的分級，帶有過濾通道(32,128,256、512,936);AOGNet- 40m使用(22、41、44、21)的分級，帶有過濾通道(60,240、448,968、1440);AOGNet- 60M使用(22、42、45、21)的分級，帶有過濾通道(64,256,512、1160、1400)。

訓練設置。濾波器權值采用隨機參數初始化。對于批處理標準化(BN)層，我們使用0初始化所有偏移量參數。我們使用1來初始化所有的尺度參數，除了每個T()中的最后一個BN層，在這里我們將尺度參數初始化為0，就像在[17]中所做的那樣。在最后兩個階段，我們使用Dropout[33]，其下降率為0.1。我們在培訓中使用8個gpu (NVIDIA V100)。批處理大小是128每個GPU(總共1024)。初始學習率為0.4，使用余弦學習率調度器[44]，權值衰減0.0004，動量0.9。我們用SGD對AOGNet進行120個epoch的訓練，其中包括5個epoch的[17]后的線性熱身。

結果和分析:AOGNets獲得了最好的準確性和模型可解釋性。表1顯示了結果，圖5顯示了前1的錯誤率和訓練損失。在模型尺寸比較的模型中，我們的AOGNets在top-1和top-5的準確率方面是最好的。我們的小型AOGNet-12M的表現分別比ResNets [23] (44.5M和60.2M)高出1.32%和0.72%。我們注意到，我們的AOGNets使用與ResNets相同的瓶頸操作功能，因此改進必須由AOG構建塊結構做出貢獻。我們的AOGNet-40M在性能上比其他所有方法都要好，其中包括ResNeXt- 101 [66]+SE [27] (48.9M)，是實際應用中最強大、應用最廣泛的組合。AOGNet-40M的性能也優于第二名DPN-98 [7] (61.6M)，說明我們的AOG構建塊中的DenseNet-和resnet聚合的層次化和組分集成比DPN[7]中的級聯集成更有效。我們的AOGNet-60M達到了最好的效果。我們的AOGNet-60M的失敗次數略高于DPN-98，部分原因是DPN使用ResNeXt操作(即group conv.)。在我們正在進行的實驗中，我們正在測試使用ResNeXt節點操作的AOGNets。

表1。使用單模型和單作物測試的ImageNet-1K驗證集的前1和前5的錯誤率(%)。

圖5。ImageNet中三個AOGNets的top-1錯誤率和訓練損失的圖。(彩色和放大效果最佳)

在開發基于深度學習的人工智能系統[8]中，模型可解釋性被認為是一個關鍵問題。我們使用網絡剖析度量[4]來比較最后一個卷積層中唯一檢測器(即濾波器核)的數量。在對比中，我們的AOGNet獲得了最好的分數(圖6)，說明了該AOG構建塊在獲得最佳精度性能的同時，在通過設計誘導模型可解釋性方面具有很大的潛力。

圖6。利用[4]網絡解剖方法對ImageNet預訓練網絡進行模型可解釋性比較。

對抗的穩健性是許多DNNs[2]所面臨的另一個關鍵問題。我們進行了一個簡單的實驗來共同削減不同DNNs的開箱即用的對抗魯棒性。表2顯示了結果。在常規條件下，我們的AOGNets表現出更好的對抗能力，特別是當攝動能量控制在相對較低(即?= 0.1)。我們將在以后的工作中通過不同的攻擊和對抗性的訓練來研究這個問題。

表2。使用1步FGSM[16]和傻瓜工具箱[51]在白盒對敵攻擊下的最高精度比較。

手機設置。我們在典型的移動設置[26]下訓練一個AOGNet-4M。表3給出了比較結果。我們獲得性能par的流行網絡專門為移動平臺，如mobilenet[26,54]和shufflenet[73]。我們的AOGNet也超過了自動搜索網絡NASNet[76](它在搜索中使用了大約800個gpu)。我們注意到，我們使用了相同的AOGNet結構，因此顯示了我們的AOGNets有前途的設備不可知功能。這對于在不同的平臺上部署DNNs是非常重要和有用的，因為不需要額外的手工制作或搜索神經結構。如果大型模型共享完全相同的結構，這對于從大型模型中提取小型模型也有潛在的用處。

表3。移動設置下ImageNet-1K驗證設置的前1和前5的錯誤率(%)。

4.3 COCO中的目標檢測和分割

MS-COCO是[43]中廣泛使用的對象檢測和分割基準之一。它由80個對象類別組成。我們在COCO train2017集合中訓練AOGNet，在COCO val2017集合中評估。我們報告了用于包圍盒檢測(APbb)和實例分割(即掩模預測(APm))的平均精度(AP)、AP50和AP75的COCO標準度量標準。我們在Mask-RCNN系統[22]上進行實驗，使用最先進的實現，maskrcnn-benchmark[45]。我們使用ImageNet-1K上預訓練的AOGNets作為骨架。在對目標檢測和分割進行微調時，我們凍結了所有的BN參數，就像對ResNet[23]和ResNeXt[66]骨干所做的那樣。我們保持所有其他方面不變。我們測試了C4和FPN設置。

結果。表4給出了比較結果。我們的AOGNets獲得了比ResNet[23]和ResNeXt[66]脊柱更好的結果，模型尺寸更小，推理時間類似或稍好。實驗結果表明，我們的AOGNets學習更好的特征在目標檢測和分割任務的有效性。

表4。Mask-RCNN結果coco val2017使用1x訓練計劃。ResNets和ResNeXts的結果由maskrcnn基準報告。

4.4 在CIFAR數據集上的實驗

CIFAR-10和CIFAR-100數據集[32]分別用C10和C100表示，由10個類和100個類繪制的32 32幅彩色圖像組成。訓練集和測試集分別包含50000張圖像和10000張圖像。在訓練數據的準備中，我們采用了廣泛使用的標準數據增強方案——隨機裁剪和鏡像。

在隨機參數初始化條件下，用隨機梯度下降(SGD)訓練了300個epoch的AOGNets。前端(見圖3)使用單一卷積層。初始學習率設置為0.1，分別在150和225 epoch時除以10。對于CIFAR-10，我們選擇批量大小64，權重衰減0.0001，而對于CIFAR-100，我們選擇批量大小128，重量衰減0.00001。動量設定為0.9。

結果和分析。我們在表5中總結了結果。通過更小的模型尺寸和更低的計算復雜度(FLOPs)，我們的AOGNets獲得更好的性能比ResNets[23]和一些變體，ResNeXts[66]和DenseNets[29]一致在兩個數據集。我們的小型AOGNet (0.78M)的表現已經超過ResNet [23] (10.2M)和WideResNet [70] (11.0M)。由于使用了相同的節點操作，因此改進必須來自于AOG構建塊結構。與densenet相比，我們的AOGNets在C100上有了更多的改進，并且對于類似的型號尺寸使用了不到一半的延遲。延遲減少的原因是densenet在每個稠密塊之后采用了向下采樣，而我們的AOGNets在終端節點上進行子采樣。

表5所示。兩個CIFAR數據集[32]的錯誤率(%)。參數使用的單位是百萬。DenseNet中的k為增長率。

4.5?消融研究

我們進行了一項消融研究，調查(i) RS:去除修剪后的AOG建筑塊中ORnodes的對稱子節點，以及(ii) LC:增加橫向連接的影響。如表6所示，RS和LC這兩個組件提高了性能。結果與我們的設計直覺和原則一致。RS分量降低了結構復雜性，促進了更高的特征維數，LC分量增加了側向流動節點的有效深度。

表6所示。利用5次運行的平均錯誤率對我們的AOGNets進行消融研究。在前兩行中，AOGNets使用完整的結構，最后兩行使用修剪后的結構。相應地指定節點操作的特征維數，以保持模型大小的可比性。

5?結論與討論

本文提出了一種語法引導的網絡生成器，它可以有效地構建用于深度學習的語法結構。它提出了深度和或語法網絡(AOGNets)。AOG包括一個短語結構語法和一個依賴語法。一個AOGNet由許多階段組成，每個階段都由許多AOG構建塊組成。我們的AOG構建塊利用了最好的語法模型和DNNs進行深度學習。AOGNet獲得國家最先進的表現。在CIFAR-10/100[32]和ImageNet- 1K[52]中，在公平比較下，AOGNet獲得了比所有先進網絡更好的性能。AOGNet還利用網絡剖分[4]得到了最佳模型可解釋性評分。AOGNet在對抗性防御中顯示出了更好的潛力。在MS-COCO[43]中，AOGNet的性能優于Mask R-CNN[22]中的ResNet和ResNeXt backbones。

討論。希望本文能對學習語法引導的網絡生成器進行進一步的探索。AOG可以很容易地擴展為k-分支分裂規則;2.?其他類型的邊緣也可以很容易地在AOG中引入，比如密集的橫向連接和自上而下的連接。節點操作還可以擴展以利用語法指導的轉換。對于AOG結構，需要研究更好的參數初始化方法。

ZIZHU

?

?

?

?

總結

以上是生活随笔為你收集整理的读后感与机翻《AOGNets》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。