論文地址：https://arxiv.org/abs/1608.08710

主要思想

這篇文章主要講了對(duì)filters的裁剪，裁剪方法是計(jì)算L1范數(shù)，然后裁剪掉較少的，多少取決于加速比。

實(shí)現(xiàn)效果

VGG-16 34%加速

ResNet-110 38%加速

具體實(shí)現(xiàn)

對(duì)于每一個(gè)kernel matrix按列絕對(duì)值求和

對(duì)求和結(jié)果排序

裁剪掉m個(gè)filters(對(duì)應(yīng)內(nèi)核矩陣的列)，以及對(duì)應(yīng)的輸出(Xi+1層中)，它又是下一層的輸入，所以也得去掉對(duì)應(yīng)的輸入filters(對(duì)應(yīng)內(nèi)核矩陣的行)

剩余的kernel weights保留

實(shí)現(xiàn)細(xì)節(jié)

在跨越多層裁剪的過程中，可能出現(xiàn)kernel matrix裁剪交叉的情況，兩種處理方法：

Independent pruning 假設(shè)藍(lán)色是確定要裁剪的，然后計(jì)算綠色的L1時(shí)，要考慮黃色的值，跟之前的裁剪無(wú)關(guān)。

Greedy pruning 也就是計(jì)算綠色的L1時(shí)，不考慮已經(jīng)被裁剪的黃色值
結(jié)果：
第二種的準(zhǔn)確率輝更高。

殘差網(wǎng)絡(luò)的處理：

第一層隨意裁剪(根據(jù)需求),因?yàn)樗粫?huì)影響Xi+1的輸入，但是不會(huì)影響最后的輸出。

residual block里面的裁剪需要注意，因?yàn)椴眉粜枰蛃hortcut layer保持一致，才能累加。

因?yàn)閕dentical feature maps比added residual maps更重要，所以后者的裁剪結(jié)果應(yīng)該由前者決定。

Prune and Retrain 方法

裁剪所有層后再繼續(xù)訓(xùn)練網(wǎng)絡(luò)

裁剪一層，重新訓(xùn)練一下
結(jié)果：
顯然第二種好啊，第一種太暴力了，可能造成無(wú)法修復(fù)的裁剪

轉(zhuǎn)載于:https://www.cnblogs.com/zhonghuasong/p/7642000.html

總結(jié)

以上是生活随笔為你收集整理的论文笔记——PRUNING FILTERS FOR EFFICIENT CONVNETS的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。