大家好，歡迎來到我們的星球知識小卡片專欄，本期給大家分享模型壓縮中的一個非常重要的方向，動態模型。

作者&編輯 | 言有三

1 基于樣本動態變化的卷積權重

Dynamic Convolution名為動態卷積，它可以根據輸入圖像，采用注意力機制自適應地調整卷積參數，不僅顯著提升了表達能力，額外的計算成本也很小，類似的早期研究和后續研究非常多，包括Dynamic Filter Networks等。

2 基于空間位置動態變化的卷積權重

Dynamic RegionAware Convolution是一個空間動態卷積模型，它可以根據輸入圖像不同特征圖上不同區域特征的特性，采用不同的卷積核進行計算，從而提升模型性能，類似的方法還有involution。

3 基于退出機制與模塊刪除的模型

隨著網絡的加深，特征的表達能力越來越強，但是大部分簡單的圖片可以在較淺層時學習到足以識別的特征，BranchyNet基于此，以非常簡潔的形式實現了不同難度的樣本在測試時運行不同網絡的思想，類似的還有基于模塊刪除的BlockDrop，SkipNet等。

4 基于合并機制的動態模型

在深度學習模型中，許多的非Tensor網絡層，如BN層，參數量雖然很少，但是計算量非常大，耗時比較長，因此許多推理框架會將其與卷積層進行合并，類似的還有多分支合并策略，如RepVGG。

5 其他

總的來說，動態模型有一些重要的研究方向，包括：

(1) 注意力機制的應用。

(2) 動態卷積的改進。

(3) 退出機制的設計。

(4) 模塊刪除機制的設計。

(5) 動態訓練的策略。

(6) 其他等等。?

以上內容，如果你不想自己學習，可以去我們知識星球的網絡結構1000變板塊—動態模型閱讀。

有三AI知識星球

知識星球是有三AI的付費內容社區，里面包括各領域的模型學習，數據集下載，公眾號的付費圖文原稿，技術總結PPT和視頻，知識問答，書籍下載，項目推薦，線下活動等資源，了解詳細請閱讀以下文章：

【雜談】有三AI知識星球一周年了！為什么公眾號+星球才是完整的？

【雜談】萬萬沒想到，有三還有個保密的‘朋友圈’，那里面都在弄啥！

轉載文章請后臺聯系

侵權必究

往期精選

• 【星球知識卡片】殘差網絡家族10多個變種學習卡片，請收下！

• 【星球知識卡片】移動端高效率的分組網絡都發展到什么程度了？

• 【星球知識卡片】注意力機制發展如何了，如何學習它在各類任務中的應用？

• 【星球知識卡片】模型剪枝有哪些關鍵技術，如何對其進行長期深入學習

• 【星球知識卡片】模型量化的核心技術點有哪些，如何對其進行長期深入學習

• 【星球知識卡片】模型蒸餾的核心技術點有哪些，如何對其進行長期深入學習

• 【星球知識卡片】視頻分類與行為識別有哪些核心技術，對其進行長期深入學習

• 【星球知識卡片】圖像生成都有哪些核心技術，如何對其進行長期深入學習

• 【星球知識卡片】AutoML都有哪些核心技術，如何對其進行長期深入學習

• 【星球知識卡片】人臉屬性編輯都有哪些核心知識點，如何長期進行學習

• 【星球知識卡片】深度學習圖像降噪有哪些關鍵技術點，如何學習

• 【星球知識卡片】圖像風格化與翻譯都有哪些核心技術，如何對其長期深入學習

• 【星球知識卡片】換臉算法和人臉驅動都有哪些核心技術，如何對其長期深入學習

總結

以上是生活随笔為你收集整理的【星球知识卡片】模型压缩重要方向-动态模型，如何对其长期深入学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。