link
前言
上一章，將基于核的稀疏化方法的模型壓縮方法進行了介紹，提出了幾篇值得大家去學習的論文，本章，將繼續對深度學習模型壓縮方法進行介紹，主要介紹的方向為基于模型裁剪的方法，由于本人主要研究的為這個方向，故本次推薦的論文數量較多，但都是非常值得一讀的。

基于模型裁剪的方法

• 對以訓練好的模型進行裁剪的方法，是目前模型壓縮中使用最多的方法，通常是尋找一種有效的評判手段，來判斷參數的重要性，將不重要的connection或者filter進行裁剪來減少模型的冗余。同樣也分為regular和irregular的方式。 這類方法最多，下面列舉幾篇典型的方案。
• 作者在裁剪的時候同樣會考慮每一層對裁剪的敏感程度，作者會單獨裁剪每一層來看裁剪后的準確率。對于裁剪較敏感的層，作者使用更小的裁剪力度，或者跳過這些層不進行裁剪。目前這種方法是實現起來較為簡單的，并且也是非常有效的，它的思路非常簡單，就是認為參數越小則越不重要。
• Network Trimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures 論文地址
  作者認為，在大型的深度學習網絡中，大部分的神經元的激活都是趨向于零的，而這些激活為0的神經元是冗余的，將它們剔除可以大大降低模型的大小和運算量，而不會對模型的性能造成影響，于是作者定義了一個量APoZ（Average Percentage of Zeros）來衡量每一個filter中激活為0的值的數量，來作為評價一個filter是否重要的標準。APoZ定義如下：
• 作者認為通過weight值的大小很難判定filter的重要性，通過這個來裁剪的話有可能裁掉一些有用的filter。因此作者提出了一種基于熵值的裁剪方式，利用熵值來判定filter的重要性。 作者將每一層的輸出通過一個Global average Pooling將feature map轉換為一個長度為c（filter數量）的向量，對于n張圖像可以得到一個n*c的矩陣，對于每一個filter，將它分為m個bin，統計每個bin的概率，然后計算它的熵值 利用熵值來判定filter的重要性，再對不重要的filter進行裁剪。第j個feature map熵值的計算方式如下：
• Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning 論文地址
  這篇文章也是今天的CVPR，作者認為以往的裁剪方法，都沒有考慮到模型的帶寬以及能量的消耗，因此無法從能量利用率上最大限度的裁剪模型，因此提出了一種基于能量效率的裁剪方式。 作者指出一個模型中的能量消耗包含兩個部分，一部分是計算的能耗，一部分是數據轉移的能耗，在作者之前的一片論文中（與NVIDIA合作，Eyeriss），提出了一種估計硬件能耗的工具，能夠對模型的每一層計算它們的能量消耗。然后將每一層的能量消耗從大到小排序，對能耗大的層優先進行裁剪，這樣能夠最大限度的降低模型的能耗，對于需要裁剪的層，根據weight的大小來選擇不重要的進行裁剪，同樣的作者也考慮到不正確的裁剪，因此將裁剪后模型損失最大的weight保留下來。
• 此文的方法比較有意思，作者認為，既然我無法直觀上的判定filter的重要性，那么就采取一種隨機裁剪的方式，然后對于每一種隨機方式統計模型的性能，來確定局部最優的裁剪方式。 這種隨機裁剪方式類似于一個隨機mask，假設有M個潛在的可裁剪weight，那么一共就有2^M個隨機mask。假設裁剪比例為a，那么每層就會隨機選取ML*a個filter，一共隨機選取N組組合，然后對于這N組組合，統計裁剪掉它們之后模型的性能，然后選取性能最高的那組作為局部最優的裁剪方式。 算法流程如下：
• 作者發現，在最后一個卷積層中，經過LDA分析發現對于每一個類別，有很多filter之間的激活是高度不相關的，因此可以利用這點來剔除大量的只具有少量信息的filter而不影響模型的性能。 作者在VGG-16上進行實驗，VGG-16的conv5_3具有512個filter，將每一個filter的輸出值中的最大值定義為該filter的fire score，因此對應于每一張圖片就具有一個512維的fire向量，當輸入一堆圖片時，就可以得到一個N*512的fire矩陣，作者用intra-class correlation來衡量filter的重要性：
• 本文為2016年的CVPR，應用場景為人臉識別的模型：DeepID。作者認為，如果一層中的某個神經元的激活與上一層的某個神經元的激活有很強的相關性，那么這個神經元對于后面層的激活具有很強的判別性。也就是說，如果前后兩層中的某對神經元的激活具有較高的相關性，那么它們之間的連接weight就是非常重要的，而弱的相關性則代表低的重要性。如果某個神經元可以視為某個特定視覺模式的探測器，那么與它正相關的神經元也提供了這個視覺模式的信息，而與它負相關的神經元則幫助減少誤報。作者還認為，那些相關性很低的神經元對，它們之間的連接不一定是一點用也沒有，它們可能是對于高相關性神經元對的補充。在全連接層中，計算方式如下：
• 可以看出來，基于模型裁剪的方法很多，其思路源頭都是來自于Oracle pruning 的方法，即挑選出模型中不重要的參數，將其剔除而不會對模型的效果造成太大的影響，而如何找到一個有效的對參數重要性的評價手段，在這個方法中就尤為重要，我們也可以看到，這種評價標準花樣百出，各有不同，也很難判定那種方法更好。在剔除不重要的參數之后，通過一個retrain的過程來恢復模型的性能，這樣就可以在保證模型性能的情況下，最大程度的壓縮模型參數及運算量。目前，基于模型裁剪的方法是最為簡單有效的模型壓縮方式。（未完待續）

總結

以上是生活随笔為你收集整理的深度学习模型压缩方法（3）-----模型剪枝（Pruning）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。