更高FLOPS才是更快更強的底氣,作者重新審視了現有的操作符，特別是DWConv的計算速度——FLOPS。作者發現導致低FLOPS問題的主要原因是頻繁的內存訪問。然后，作者提出了PConv作為一種競爭性替代方案，它減少了計算冗余以及內存訪問的數量。

論文鏈接：https://paperswithcode.com/paper/run-don-t-walk-chasing-higher-flops-for

為了設計快速神經網絡，許多工作都集中在減少浮點運算（FLOPs）的數量上。然而，作者觀察到FLOPs的這種減少不一定會帶來延遲的類似程度的減少。這主要源于每秒低浮點運算（FLOPS）效率低下。

為了實現更快的網絡，作者重新回顧了FLOPs的運算符，并證明了如此低的FLOPS主要是由于運算符的頻繁內存訪問，尤其是深度卷積。因此，本文提出了一種新的partial convolution（PConv），通過同時減少冗余計算和內存訪問可以更有效地提取空間特征。

基于PConv進一步提出FasterNet，這是一個新的神經網絡家族，它在廣泛的設備上實現了比其他網絡高得多的運行速度，而不影響各種視覺任務的準確性。例如，在ImageNet-1k上小型FasterNet-T0在GPU、CPU和ARM處理器上分別比MobileVitXXS快3.1倍、3.1倍和2.5倍，同時準確度提高2.9%。

大模型FasterNet-L實現了令人印象深刻的83.5%的TOP-1精度，與Swin-B不相上下，同時GPU上的推理吞吐量提高了49%，CPU上的計算時間也節省了42%。

神經網絡在圖像分類、檢測和分割等各種計算機視覺任務中經歷了快速發展。盡管其令人印象深刻的性能為許多應用程序提供了動力，但一個巨大的趨勢是追求具有低延遲和高吞吐量的快速神經網絡，以獲得良好的用戶體驗、即時響應和安全原因等。

如何快速？研究人員和從業者不需要更昂貴的計算設備，而是傾向于設計具有成本效益的快速神經網絡，降低計算復雜度，主要以浮點運算（FLOPs）的數量來衡量。

MobileNet、ShuffleNet和GhostNet等利用深度卷積（DWConv）和/或組卷積（GConv）來提取空間特征。然而，在減少FLOPs的過程中，算子經常會受到內存訪問增加的副作用的影響。MicroNet進一步分解和稀疏網絡，將其FLOPs推至極低水平。盡管這種方法在FLOPs方面有所改進，但其碎片計算效率很低。此外，上述網絡通常伴隨著額外的數據操作，如級聯、Shuffle和池化，這些操作的運行時間對于小型模型來說往往很重要。

除了上述純卷積神經網絡（CNNs）之外，人們對使視覺Transformer（ViTs）和多層感知器（MLP）架構更小更快也越來越感興趣。例如，MobileViT和MobileFormer通過將DWConv與改進的注意力機制相結合，降低了計算復雜性。然而，它們仍然受到DWConv的上述問題的困擾，并且還需要修改的注意力機制的專用硬件支持。使用先進但耗時的標準化和激活層也可能限制其在設備上的速度。

所有這些問題一起導致了以下問題：這些“快速”的神經網絡真的很快嗎？為了回答這個問題，作者檢查了延遲和FLOPs之間的關系，這由

其中FLOPS是每秒浮點運算的縮寫，作為有效計算速度的度量。雖然有許多減少FLOPs的嘗試，但都很少考慮同時優化FLOPs以實現真正的低延遲。為了更好地理解這種情況，作者比較了Intel CPU上典型神經網絡的FLOPS。?

圖2中的結果表明，許多現有神經網絡的FLOPS較低，其FLOPS通常低于流行的ResNet50。由于FLOPS如此之低，這些“快速”的神經網絡實際上不夠快。它們的FLOPs減少不能轉化為延遲的確切減少量。在某些情況下，沒有任何改善，甚至會導致更糟的延遲。例如，CycleMLP-B1具有ResNet50的一半FLOPs，但運行速度較慢（即CycleMLPB1與ResNet50:111.9ms與69.4ms）。

請注意，FLOPs與延遲之間的差異在之前的工作中也已被注意到，但由于它們采用了DWConv/GConv和具有低FLOPs的各種數據處理，因此部分問題仍未解決。人們認為沒有更好的選擇。

本文旨在通過開發一種簡單、快速、有效的運算符來消除這種差異，該運算符可以在減少FLOPs的情況下保持高FLOPS。具體來本文旨在通過開發一種簡單、快速、有效的運算符來消除這種差異，該運算符可以在減少FLOPs的情況下保持高FLOPS。

具體來說，作者重新審視了現有的操作符，特別是DWConv的計算速度——FLOPS。作者發現導致低FLOPS問題的主要原因是頻繁的內存訪問。然后，作者提出了PConv作為一種競爭性替代方案，它減少了計算冗余以及內存訪問的數量。

圖1說明了PConv的設計。它利用了特征圖中的冗余，并系統地僅在一部分輸入通道上應用規則卷積（Conv），而不影響其余通道。本質上，PConv的FLOPs低于常規Conv，而FLOPs高于DWConv/GConv。換句話說，PConv更好地利用了設備上的計算能力。PConv在提取空間特征方面也很有效，這在本文后面的實驗中得到了驗證。

作者進一步引入PConv設計了FasterNet作為一個在各種設備上運行速度非常快的新網絡家族。特別是，FasterNet在分類、檢測和分割任務方面實現了最先進的性能，同時具有更低的延遲和更高的吞吐量。例如，在GPU、CPU和ARM處理器上，小模型FasterNet-T0分別比MobileVitXXS快3.1倍、3.1倍和2.5倍，而在ImageNet-1k上的準確率高2.9%。大模型FasterNet-L實現了83.5%的Top-1精度，與Swin-B不相上下，同時在GPU上提供了49%的高吞吐量，在CPU上節省了42%的計算時間。

總之，貢獻如下：

• 指出了實現更高FLOPS的重要性，而不僅僅是為了更快的神經網絡而減少FLOPs。

• 引入了一種簡單但快速且有效的卷積PConv，它很有可能取代現有的選擇DWConv。

• 推出FasterNet，它在GPU、CPU和ARM處理器等多種設備上運行良好且普遍快速。

• 對各種任務進行了廣泛的實驗，并驗證了PConv和FasterNet的高速性和有效性。

PConv和FasterNet的設計

原理

?PConv作為一個基本的算子

在下面演示了通過利用特征圖的冗余度可以進一步優化成本。如圖3所示，特征圖在不同通道之間具有高度相似性。許多其他著作也涵蓋了這種冗余，但很少有人以簡單而有效的方式充分利用它。?

請注意，保持其余通道不變，而不是從特征圖中刪除它們。這是因為它們對后續PWConv層有用，PWConv允許特征信息流經所有通道。

PConv之后是PWConv

為了充分有效地利用來自所有通道的信息，進一步將逐點卷積（PWConv）附加到PConv。它們在輸入特征圖上的有效感受野看起來像一個T形Conv，與均勻處理補丁的常規Conv相比，它更專注于中心位置，如圖5所示。為了證明這個T形感受野的合理性，首先通過計算位置的Frobenius范數來評估每個位置的重要性。

作者認為一個顯著位置是具有最大Frobenius范數的位置。然后，在預訓練的ResNet18中集體檢查每個過濾器，找出它們的顯著位置，并繪制顯著位置的直方圖。圖6中的結果表明，中心位置是過濾器中最常見的突出位置。換句話說，中心位置的權重比周圍的更重。這與集中于中心位置的T形計算一致。?

FasterNet作為Backbone

鑒于新型PConv和現成的PWConv作為主要的算子，進一步提出FasterNet，這是一個新的神經網絡家族，運行速度非常快，對許多視覺任務非常有效。作者的目標是使體系結構盡可能簡單，使其總體上對硬件友好。

在圖4中展示了整體架構。它有4個層次級，每個層次級前面都有一個嵌入層（步長為4的常規4×4卷積）或一個合并層（步長為2的常規2×2卷積），用于空間下采樣和通道數量擴展。每個階段都有一堆FasterNet塊。作者觀察到，最后兩個階段中的塊消耗更少的內存訪問，并且傾向于具有更高的FLOPS，如表1中的經驗驗證。因此，放置了更多FasterNet塊，并相應地將更多計算分配給最后兩個階段。每個FasterNet塊有一個PConv層，后跟2個PWConv（或Conv 1×1）層。它們一起顯示為倒置殘差塊，其中中間層具有擴展的通道數量，并且放置了Shorcut以重用輸入特征。

除了上述算子，標準化和激活層對于高性能神經網絡也是不可或缺的。然而，許多先前的工作在整個網絡中過度使用這些層，這可能會限制特征多樣性，從而損害性能。它還可以降低整體計算速度。相比之下，只將它們放在每個中間PWConv之后，以保持特征多樣性并實現較低的延遲。

此外，使用批次歸一化（BN）代替其他替代方法。BN的優點是，它可以合并到其相鄰的Conv層中，以便更快地進行推斷，同時與其他層一樣有效。對于激活層，根據經驗選擇了GELU用于較小的FasterNet變體，而ReLU用于較大的FasterNet變體，同時考慮了運行時間和有效性。最后三個層，即全局平均池化、卷積1×1和全連接層，一起用于特征轉換和分類。

為了在不同的計算預算下提供廣泛的應用，提供FasterNet的Tiny模型、Small模型、Medium模型和Big模型變體，分別稱為FasterNetT0/1/2、FasterNet-S、FasterNet-M和FasterNet-L。它們具有相似的結構，但深度和寬度不同。

架構規范如下：

代碼實現

實驗

PConv的快速性與高Flops

PConv與PWConv一起有效

FasterNet on ImageNet-1k?

?

?FasterNet在下游任務的表現

1、目標檢測

消融實驗

whaosoft aiot?http://143ai.com

總結

以上是生活随笔為你收集整理的FasterNet的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。