大家好，歡迎來到我們的星球知識小卡片專欄，本期給大家分享模型剪枝的關鍵技術以及一些學習資料。

作者&編輯 | 言有三

1 為什么要研究模型剪枝

在真正研究模型剪枝之前，我們首先要知道為什么要做這件事，模型到底有多么冗余呢，以Google對大模型和移動端小模型的研究來說明這個問題，如下。

2 連接剪枝

對權重連接和神經元進行剪枝是最簡單，也是最早期的剪枝技術，NVIDIA的韓松等人是最早研究模型剪枝技術的團隊，當然還有的方法會在剪枝后添加一個恢復操作以便獲得更好的性能。

3 通道剪枝

相對于連接權重剪枝，粗粒度剪枝其實更加有用，它可以得到不需要專門的算法支持的精簡小模型，其中主要方法就是通道剪枝。

通道剪枝算法有三個經典思路。第一個是基于重要性因子，即評估一個通道的有效性，再配合約束一些通道使得模型結構本身具有稀疏性，從而基于此進行剪枝。第二個是利用重建誤差來指導剪枝，間接衡量一個通道對輸出的影響。第三個是基于優化目標的變化來衡量通道的敏感性。

4 個性化剪枝

不同的輸入樣本，不同的通道層其實都需要不同的剪枝方案，注意力機制，動態模型等在模型剪枝中很有用，典型研究包括DCP，RNP等。

5 剪枝策略

當前大部分的模型剪枝方法都是對每一層在基準模型訓練后進行單獨剪枝，這樣的方案比較耗時，效率不高，因此研究其他更加高效的剪枝策略也是很有必要的。

6 其他

總的來說，模型剪枝有非常多的研究方向，包括：

(1) 連接剪枝的策略。

(2) 通道剪枝的策略。

(3) 重要性因子的研究。

(4) 正則化因子的研究。

(5) 個性剪枝策略。

(6) 自動剪枝策略。

(7) 訓練前剪枝策略。

(8) 統一剪枝策略。

(9) 其他。

以上內容，如果你不想自己學習，可以去我們知識星球的網絡結構1000變板塊—模型剪枝板塊閱讀，純屬自愿，不愿勿噴。

有三AI知識星球

知識星球是有三AI的付費內容社區，里面包括各領域的模型學習，數據集下載，公眾號的付費圖文原稿，技術總結PPT和視頻，知識問答，書籍下載，項目推薦，線下活動等資源，了解詳細請閱讀以下文章：

【雜談】有三AI知識星球一周年了！為什么公眾號+星球才是完整的？

【雜談】萬萬沒想到，有三還有個保密的‘朋友圈’，那里面都在弄啥！

轉載文章請后臺聯系

侵權必究

往期精選

• 【雜談】2020年有三AI計算機視覺培養計劃詳解，該不該學&怎么學CV的簡單討論

• 【年終總結】2019年有三AI做了什么，2020年我們要做什么？
  

• 【總結】有三AI秋季劃模型優化組3月直播講了哪些內容，為什么每一個從事深度學習的同學都應該掌握模型優化的內容

• 【總結】有三AI秋季劃人臉算法組3月直播講了哪些內容，計算機視覺你不可能繞開人臉圖像

• 【總結】有三AI秋季劃圖像質量組3月直播講了哪些內容，為什么解決好底層圖像處理問題那么重要

• 【星球知識卡片】殘差網絡家族10多個變種學習卡片，請收下！

• 【星球知識卡片】移動端高效率的分組網絡都發展到什么程度了？

• 【星球知識卡片】注意力機制發展如何了，如何學習它在各類任務中的應用？
  

總結

以上是生活随笔為你收集整理的【星球知识卡片】模型剪枝有哪些关键技术，如何对其进行长期深入学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。