模型剪枝屬于模型優(yōu)化中的重要技術(shù)之一，經(jīng)過了研究人員多年的研究，工業(yè)界也開始有一些實踐，那么當(dāng)前有哪些可用的模型剪枝工具呢？

作者&編輯 | 言有三

1 Tensorflow

TensorFlow Model Optimization Toolkit是谷歌官方開源的模型優(yōu)化技術(shù)包，包含了模型剪枝和量化兩種API，模型剪枝支持Google提出的一些算法，具體原理可以翻看我們往期文章。

https://github.com/tensorflow/model-optimization

如果想使用該工具包，需要安裝tf-nightly or tf-nightly-gpu。不過會有一些環(huán)境沖突，所以體驗者最好做好環(huán)境隔離工作。

2 PaddleSlim

有Google自然也少不了百度，PaddleSlim是百度推出的優(yōu)化包，被包含在PaddlePaddle中，支持通道均勻模型剪裁、基于敏感度的模型剪裁、基于進化算法的自動模型剪裁三種方式。

https://github.com/PaddlePaddle/models/tree/develop/PaddleSlim

PaddlePaddle框架雖然用的人少，但是技術(shù)那是一流領(lǐng)先的，技術(shù)宅們不要放過。

3 第三方官方集成包

PocketFlow是騰訊開源的模型優(yōu)化工具，基于Tensorflow，可以實現(xiàn)通道級別的模型剪枝以及動態(tài)模型剪枝。

https://github.com/Tencent/PocketFlow

distiller是Intel基于Pytorch開源的模型優(yōu)化工具，支持神經(jīng)元，通道級別的剪枝。

https://github.com/NervanaSystems/distiller

此外微軟的NNI也集成了多種剪枝算法，并支持PyTorch，TensorFlow，MXNet，Caffe2等多個開源框架。

https://github.com/microsoft/nni

4 非官方開源的工具

keras-surgeon是一個keras的模型剪枝工具，不得不說keras的用戶還是很努力的，比如之前介過的AutoML工具Auto-Keras，該項目支持神經(jīng)元，通道以及網(wǎng)絡(luò)層級別的剪枝操作。

https://github.com/BenWhetton/keras-surgeon

Pytorch用戶自然也是不甘落后的，下面的工具支持正常剪枝、規(guī)整剪枝。

https://github.com/666DZY666/model-compression

5 一些論文的實現(xiàn)

當(dāng)然還有很多是對已有的模型剪枝算法的實現(xiàn)，下面簡單列舉其中比較好的。

[1] Learning Efficient Convolutional Networks Through Network Slimming論文實現(xiàn)：https://github.com/yeyun11/pytorch-network-slimming

[2] ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression論文實現(xiàn)：https://github.com/Roll920/ThiNet

6 更多理論學(xué)習(xí)

如果想要系統(tǒng)性學(xué)習(xí)模型剪枝相關(guān)的理論，可以移步有三AI知識星球 -> 網(wǎng)絡(luò)結(jié)構(gòu)1000變?-> 模型壓縮板塊 -> 模型剪枝板塊，一些解讀案例如下：

總結(jié)

網(wǎng)絡(luò)的稀疏性是一個普遍存在的問題，模型剪枝正是通過不斷去除冗余單元從而獲得體積更小/速度更快的模型，對于嵌入式設(shè)備來說具有很重要的工程意義。

知識星球推薦

有三AI知識星球由言有三維護，內(nèi)設(shè)AI知識匯總，AI書籍，網(wǎng)絡(luò)結(jié)構(gòu)，看圖猜技術(shù)，數(shù)據(jù)集，項目開發(fā)，Github推薦，AI1000問八大學(xué)習(xí)板塊。

【雜談】為什么邀請大家加入硬核知識星球有三AI

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

往期精選

• 【AutoML】如何選擇最合適的數(shù)據(jù)增強操作

• 【AutoML】激活函數(shù)如何進行自動學(xué)習(xí)和配置

• 【AutoML】歸一化(Normalization)方法如何進行自動學(xué)習(xí)和配置

• 【AutoML】優(yōu)化方法可以進行自動搜索學(xué)習(xí)嗎？

• 【AutoML】損失函數(shù)也可以進行自動搜索學(xué)習(xí)嗎？

• 【AutoML】如何使用強化學(xué)習(xí)進行模型剪枝？

• 【AutoML】強化學(xué)習(xí)如何用于模型量化？
  

• 【知識星球】分組卷積最新進展，全自動學(xué)習(xí)的分組有哪些經(jīng)典模型？

• 【知識星球】卷積核和感受野可動態(tài)分配的分組卷積

• 【知識星球】有三AI 10月新主題，千奇百怪GAN上線！

• 【知識星球】剪枝量化初完結(jié)，蒸餾學(xué)習(xí)又上線

• 【知識星球】有沒有網(wǎng)絡(luò)模型是動態(tài)變化的，每次用的時候都不一樣？

總結(jié)

以上是生活随笔為你收集整理的【杂谈】当前模型剪枝有哪些可用的开源工具？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。