大家好，歡迎來到我們的星球知識(shí)小卡片專欄，本期給大家分享模型壓縮中的一個(gè)非常重要的方向，動(dòng)態(tài)模型。

作者&編輯 | 言有三

1 基于樣本動(dòng)態(tài)變化的卷積權(quán)重

Dynamic Convolution名為動(dòng)態(tài)卷積，它可以根據(jù)輸入圖像，采用注意力機(jī)制自適應(yīng)地調(diào)整卷積參數(shù)，不僅顯著提升了表達(dá)能力，額外的計(jì)算成本也很小，類似的早期研究和后續(xù)研究非常多，包括Dynamic Filter Networks等。

2 基于空間位置動(dòng)態(tài)變化的卷積權(quán)重

Dynamic RegionAware Convolution是一個(gè)空間動(dòng)態(tài)卷積模型，它可以根據(jù)輸入圖像不同特征圖上不同區(qū)域特征的特性，采用不同的卷積核進(jìn)行計(jì)算，從而提升模型性能，類似的方法還有involution。

3 基于退出機(jī)制與模塊刪除的模型

隨著網(wǎng)絡(luò)的加深，特征的表達(dá)能力越來越強(qiáng)，但是大部分簡單的圖片可以在較淺層時(shí)學(xué)習(xí)到足以識(shí)別的特征，BranchyNet基于此，以非常簡潔的形式實(shí)現(xiàn)了不同難度的樣本在測試時(shí)運(yùn)行不同網(wǎng)絡(luò)的思想，類似的還有基于模塊刪除的BlockDrop，SkipNet等。

4 基于合并機(jī)制的動(dòng)態(tài)模型

在深度學(xué)習(xí)模型中，許多的非Tensor網(wǎng)絡(luò)層，如BN層，參數(shù)量雖然很少，但是計(jì)算量非常大，耗時(shí)比較長，因此許多推理框架會(huì)將其與卷積層進(jìn)行合并，類似的還有多分支合并策略，如RepVGG。

5 其他

總的來說，動(dòng)態(tài)模型有一些重要的研究方向，包括：

(1) 注意力機(jī)制的應(yīng)用。

(2) 動(dòng)態(tài)卷積的改進(jìn)。

(3) 退出機(jī)制的設(shè)計(jì)。

(4) 模塊刪除機(jī)制的設(shè)計(jì)。

(5) 動(dòng)態(tài)訓(xùn)練的策略。

(6) 其他等等。?

以上內(nèi)容，如果你不想自己學(xué)習(xí)，可以去我們知識(shí)星球的網(wǎng)絡(luò)結(jié)構(gòu)1000變板塊—?jiǎng)討B(tài)模型閱讀。

有三AI知識(shí)星球

知識(shí)星球是有三AI的付費(fèi)內(nèi)容社區(qū)，里面包括各領(lǐng)域的模型學(xué)習(xí)，數(shù)據(jù)集下載，公眾號(hào)的付費(fèi)圖文原稿，技術(shù)總結(jié)PPT和視頻，知識(shí)問答，書籍下載，項(xiàng)目推薦，線下活動(dòng)等資源，了解詳細(xì)請(qǐng)閱讀以下文章：

【雜談】有三AI知識(shí)星球一周年了！為什么公眾號(hào)+星球才是完整的？

【雜談】萬萬沒想到，有三還有個(gè)保密的‘朋友圈’，那里面都在弄啥！

轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系

侵權(quán)必究

往期精選

• 【星球知識(shí)卡片】殘差網(wǎng)絡(luò)家族10多個(gè)變種學(xué)習(xí)卡片，請(qǐng)收下！

• 【星球知識(shí)卡片】移動(dòng)端高效率的分組網(wǎng)絡(luò)都發(fā)展到什么程度了？

• 【星球知識(shí)卡片】注意力機(jī)制發(fā)展如何了，如何學(xué)習(xí)它在各類任務(wù)中的應(yīng)用？

• 【星球知識(shí)卡片】模型剪枝有哪些關(guān)鍵技術(shù)，如何對(duì)其進(jìn)行長期深入學(xué)習(xí)

• 【星球知識(shí)卡片】模型量化的核心技術(shù)點(diǎn)有哪些，如何對(duì)其進(jìn)行長期深入學(xué)習(xí)

• 【星球知識(shí)卡片】模型蒸餾的核心技術(shù)點(diǎn)有哪些，如何對(duì)其進(jìn)行長期深入學(xué)習(xí)

• 【星球知識(shí)卡片】視頻分類與行為識(shí)別有哪些核心技術(shù)，對(duì)其進(jìn)行長期深入學(xué)習(xí)

• 【星球知識(shí)卡片】圖像生成都有哪些核心技術(shù)，如何對(duì)其進(jìn)行長期深入學(xué)習(xí)

• 【星球知識(shí)卡片】AutoML都有哪些核心技術(shù)，如何對(duì)其進(jìn)行長期深入學(xué)習(xí)

• 【星球知識(shí)卡片】人臉屬性編輯都有哪些核心知識(shí)點(diǎn)，如何長期進(jìn)行學(xué)習(xí)

• 【星球知識(shí)卡片】深度學(xué)習(xí)圖像降噪有哪些關(guān)鍵技術(shù)點(diǎn)，如何學(xué)習(xí)

• 【星球知識(shí)卡片】圖像風(fēng)格化與翻譯都有哪些核心技術(shù)，如何對(duì)其長期深入學(xué)習(xí)

• 【星球知識(shí)卡片】換臉?biāo)惴ê腿四橋?qū)動(dòng)都有哪些核心技術(shù)，如何對(duì)其長期深入學(xué)習(xí)

總結(jié)

以上是生活随笔為你收集整理的【星球知识卡片】模型压缩重要方向-动态模型，如何对其长期深入学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。