論文地址：https://arxiv.org/abs/1608.08710

主要思想

這篇文章主要講了對filters的裁剪，裁剪方法是計算L1范數(shù)，然后裁剪掉較少的，多少取決于加速比。

實現(xiàn)效果

VGG-16 34%加速

ResNet-110 38%加速

具體實現(xiàn)

對于每一個kernel matrix按列絕對值求和

對求和結(jié)果排序

裁剪掉m個filters(對應(yīng)內(nèi)核矩陣的列)，以及對應(yīng)的輸出(Xi+1層中)，它又是下一層的輸入，所以也得去掉對應(yīng)的輸入filters(對應(yīng)內(nèi)核矩陣的行)

剩余的kernel weights保留

實現(xiàn)細節(jié)

在跨越多層裁剪的過程中，可能出現(xiàn)kernel matrix裁剪交叉的情況，兩種處理方法：

Independent pruning 假設(shè)藍色是確定要裁剪的，然后計算綠色的L1時，要考慮黃色的值，跟之前的裁剪無關(guān)。

Greedy pruning 也就是計算綠色的L1時，不考慮已經(jīng)被裁剪的黃色值
結(jié)果：
第二種的準(zhǔn)確率輝更高。

殘差網(wǎng)絡(luò)的處理：

第一層隨意裁剪(根據(jù)需求),因為它只會影響Xi+1的輸入，但是不會影響最后的輸出。

residual block里面的裁剪需要注意，因為裁剪需要和shortcut layer保持一致，才能累加。

因為identical feature maps比added residual maps更重要，所以后者的裁剪結(jié)果應(yīng)該由前者決定。

Prune and Retrain 方法

裁剪所有層后再繼續(xù)訓(xùn)練網(wǎng)絡(luò)

裁剪一層，重新訓(xùn)練一下
結(jié)果：
顯然第二種好啊，第一種太暴力了，可能造成無法修復(fù)的裁剪

轉(zhuǎn)載于:https://www.cnblogs.com/zhonghuasong/p/7642000.html

總結(jié)

以上是生活随笔為你收集整理的论文笔记——PRUNING FILTERS FOR EFFICIENT CONVNETS的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。