DL之ShuffleNetV2：ShuffleNetV2算法的簡介(論文介紹)、架構詳解、案例應用等配圖集合之詳細攻略

?

?

目錄

ShuffleNetV2算法的簡介(論文介紹)

1、論文特點

2、基于硬件平臺的性能分析

3、該論文實驗采用的硬件

7、實驗結果

ShuffleNetV2算法的架構詳解

ShuffleNetV2算法的案例應用

---

?

?

?

?

?

?

相關文章
DL之ShuffleNet：ShuffleNet算法的簡介(論文介紹)、架構詳解、案例應用等配圖集合之詳細攻略
DL之ShuffleNet：ShuffleNet算法的架構詳解
DL之ShuffleNetV2：ShuffleNetV2算法的簡介(論文介紹)、架構詳解、案例應用等配圖集合之詳細攻略
DL之ShuffleNetV2：ShuffleNetV2算法的架構詳解

ShuffleNetV2算法的簡介(論文介紹)

? ? ? ShuffleNetV2是ShuffleNet的升級版本。

Abstract ?
? ? ? Currently, the neural network architecture design is mostly ?guided by the indirect metric of computation complexity, i.e., FLOPs. ?However, the direct metric, e.g., speed, also depends on the other factors ?such as memory access cost and platform characterics. Thus, this work ?proposes to evaluate the direct metric on the target platform, beyond ?only considering FLOPs. Based on a series of controlled experiments, ?this work derives several practical guidelines for efficient network design. ?Accordingly, a new architecture is presented, called ShuffleNet V2. ?Comprehensive ablation experiments verify that our model is the stateof-the-art ?in terms of speed and accuracy tradeoff. ?
Keywords: CNN architecture design, efficiency, practical
摘要
? ? ? 目前，神經網絡體系結構設計大多以計算復雜度的間接度量為指導，即FLOPs。然而，直接度量（如速度）也取決于其他因素，如內存訪問成本和平臺特性。因此，這項工作建議評估目標平臺上的直接指標，而不僅僅是考慮故障。在一系列受控實驗的基礎上，得出了有效網絡設計的幾種實用指導原則。因此，提出了一種新的體系結構，稱為ShuffleNet V2。綜合消融實驗驗證了我們的模型在速度和精度上是最先進的。
關鍵詞：CNN架構設計；高效；實用
Conclusion ?
? ? ? We propose that network architecture design should consider the direct metric ?such as speed, instead of the indirect metric like FLOPs. We present practical ?guidelines and a novel architecture, ShuffleNet v2. Comprehensive experiments ?verify the effectiveness of our new model. We hope this work could inspire future ?work of network architecture design that is platform aware and more practical.
結論
? ? ? 我們建議網絡架構設計應考慮直接指標如速度，而不是間接指標（如FLOPs）。我們提出了實用的指南和一個新穎的體系結構，ShuffleNet v2.。綜合實驗驗證新模型的有效性。我們希望這項工作能夠激發未來網絡架構設計的工作，使其具有平臺意識和更實用性。

論文
Ningning Ma, XiangyuZhang, Hai-Tao Zheng, Jian Sun.
ShuffleNetV2: Practical Guidelines for Efficient CNN Architecture Design. ECCV 2018.
https://arxiv.org/abs/1807.11164

?

1、論文特點

? ? ? 度量標準太單一：目前，神經網絡架構設計主要由計算復雜度的間接度量（即FLOPs）所指導。然而，直接度量（例如，執行速度）還取決于諸如存儲器訪問成本和平臺特性之類的其他因素。因此，作者建議評估目標平臺上的直接度量，而不僅僅考慮FLOPs。
? ? ?ShuffleNetV2采用更好的度量標準：基于一系列對照實驗，該論文為有效的網絡設計提供了一些實用指南，并提出了一種稱為ShuffleNetV2的新架構。

?

2、基于硬件平臺的性能分析

1、四種不同計算復雜度的硬件平臺上，測量四種網絡架構的準確度（驗證集上的ImageNet分類），速度和FLOPs

? ? ? ? ?在兩個具有四種不同計算復雜度的硬件平臺上測量四種網絡架構的準確度（驗證集上的ImageNet分類），速度和FLOPs。
（a，c）GPU結果，batchsize= 8.（b，d）ARM結果，batchsize= 1。在所有情況下，性能最佳的算法，即論文提出的ShuffleNetv2(位于右上角區域)的準確度、復雜度都有明顯提高。

?

2、ShuffeNetv1 和 MobileNetv2 兩個架構在不同計算平臺上的分解
? ? ? 在兩個具有代表性的最先進的網絡架構上運行時分解：ShuffeNetv1 (1×, g = 3) 和 MobileNetv2 (1×).
? ? ? Run time decomposition on two representative state-of-the-art network architectures, ShuffeNetv1 (1×, g = 3) and MobileNetv2 (1×). 比如卷積操作、Shuffle操作、Elemwise逐點操作等操作所需時間占比分布圖，明顯的看出：
(1)、卷積操作占用了大部分的計算量，Elemwise逐點操作次之。
(2)、不同的操作平臺，比如卷積操作占用時間也不一樣。

?

3、間接指標(FLOPs)和直接指標(速度)之間的差異

分析——問題原因：間接指標（FLOPs）和直接指標（速度）之間的差異可歸因于兩個主要原因：

• 1、首先，FLOPs沒有考慮幾個對速度有相當影響的重要因素。
  (1)、一個這樣的因素是存儲器訪問成本（MAC，memory access cost ）。在諸如組卷積的某些操作中，這種成本占運行時的很大一部分。它可能是具有強大計算能力的設備（例如GPU）的瓶頸。在網絡架構設計中不應忽略此成本。
  (2)、另一個是并行度。在相同的FLOPs下，具有高并行度的模型可能比具有低并行度的另一個模型快得多。
• 2、其次，具有相同FLOPs的操作，可能具有不同的運行時間，具體取決于平臺。例如，張量分解廣泛用于早期工作以加速矩陣乘法。然而，最近的工作發現盡管分解將FLOPs降低了75％，在GPU上甚至更慢。當然不能認為3×3轉換，比1×1轉換慢9倍。作者發現這是因為最新的CUDNN 庫專門為3×3卷積轉換而優化。

思考——解決方法：通過這些觀察，作者提出應該考慮兩個原則來進行有效的網絡架構設計。

• 首先，應該使用直接度量（例如，速度）而不是間接度量（例如，FLOPs）。
• 其次，應在具體的目標平臺上，進行評估此類指標。

?

3、該論文實驗采用的硬件

作者的研究是在兩個廣泛采用的硬件上進行的，具有CNN庫的行業級優化。

• GPU：使用單個NVIDIA GeForce GTX 1080Ti。卷積庫是CUDNN 7.0 。還激活了CUDNN的基準測試功能，分別為不同的卷積選擇最快的算法。
• ARM：Qualcomm Snapdragon 810。使用高度優化的基于Neon的實現。評估時使用單個線程。其他設置包括：接通完全優化選項（例如，用于減少小操作的開銷的tensor fusion）。輸入圖像大小為224×224。

?

?

7、實驗結果

1、ImageNet分類性能

? ? ? ?比如ShuffleNetv2的0.5的復雜度，MFLOPS=41M、GPU平臺上單位秒處理數=417張圖片、ARM平臺上單位秒處理數=57張圖片。

2、COCO目標檢測的性能 Performance on COCO object detection

?

?

?

?

?

ShuffleNetV2算法的架構詳解

更新……

DL之ShuffleNetV2：ShuffleNetV2算法的架構詳解

?

?

ShuffleNetV2算法的案例應用

更新……

?

?

?

總結

以上是生活随笔為你收集整理的DL之ShuffleNetV2：ShuffleNetV2算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。