來源：螞蟻金服，出品：AI 科技大本營（ID:rgznai100）

　　一年一度在人工智能方向的頂級會議之一 AAAI 2020 于 2 月 7 日至 12 日在美國紐約舉行，旨在匯集世界各地的人工智能理論和領域應用的最新成果。以下是螞蟻金服的技術專家對入選論文《基于可解釋性通道選擇的動態網絡剪枝方法》與《無語預訓練的網絡剪枝技術》做出的深度解讀。

　　讓我們先來看看《基于可解釋性通道選擇的動態網絡剪枝方法》。

　　一、基于可解釋性通道選擇的動態網絡剪枝方法

　　動態剪枝網絡可以通過根據不同的輸入動態決定推理路徑，實現實時線上加速目的。之前的方法大多直接對每個權重通道輸出連續重要值，來決定權重的使用情況，但缺乏清晰可理解的剪枝過程。

　　本文中我們提出顯式建模權重通道離散選擇過程，以便于實現各稀疏多樣的運行時推理路徑。與此同時，借助于可理解的逐層權重通道選擇過程，我們可以清晰地可視化出模型決策過程以供模型理解。同時我們還發現正常樣本和對抗樣本在動態網絡中有著明顯不同的決策路徑。基于此我們提出一種高效的對抗樣本檢測方法。

　　動態剪枝方法相比于靜態剪枝方法，可以在實時計算時進行網絡計算路徑選擇，從而可以針對不同輸入進行剪枝。相比于靜態剪枝方法只能使用單一壓縮網絡，動態剪枝方法可以在保留完整模型基礎上，選擇多樣的計算路徑。然而已有方法對于計算路徑，也即權重通道的選擇，是直接產生連續控制門值。這無法反映出清晰可理解的剪枝過程。而且所產生的剪枝決策趨于相同缺乏多樣性，而這也實際上退化成為靜態剪枝。

　　在本文中我們提出通過顯示建模離散權重通道決策來實現動態剪枝算法。具體來說我們針對每一個計算層（如 CNN 中的卷積層），附屬一個決策單元，用以輸出對應于一組有限通道選擇掩碼的概率分布。該分布決定了哪一組通道選擇掩碼用了提取權重，進行實際上的運算過程。在實驗中我們發現該方法可以提供明確且可理解的動態模型決策過程。針對不同輸入，模型各層決策單元產生的決策特征與輸入類別語義高度相關。

　　同時我們也觀察到對于對抗樣本的決策路徑與正常樣本有顯著不同，這反映了模型針對這兩大類樣本不同的響應特性。我們利用這一現象開發了一種基于動態決策特征的對抗樣本檢測算法。實驗表明我們的動態剪枝網絡不僅可以減少模型實時計算量，提高模型預測準確性，同時還可以有效防御對抗樣本攻擊，構建更為魯棒的模型。

　　二、解讀

　　動態剪枝網絡中的核心部分為決策單元，其概覽總結如上圖所示。首先決策單元其接受輸入（為單元參數），產生一個概率分布對應于一組通道選擇掩碼。而對應于最大概率的選擇掩碼將被用來構建實際用來運算的權重。在訓練階段，由于存在離散選擇輸出，在訓練過程中為解決不可導問題，我們采用了連續松弛技術，將選擇指標重參數化成為：

　　其中為輸出概率，為 Gumbel 隨機變量，
為溫度參數控制概率聚集度。而對于選擇掩碼則采用端到端學習，自動調整權重通道重要值。為了使其產生盡量稀疏的通道掩碼，我們增加了正則項：

　　目的是讓整體控制門變量稀疏度接近于目標稀疏度r。

　　我們在 CIFAR10 和 ImageNet 數據上進行實驗，下表示總結和其他靜態和動態剪枝方法對比結果。可以看出相比于其他剪枝方法，我們的動態剪枝策略可以達到更高的動態剪枝率和預測性能。

　　除了帶來剪枝結果的提升，我們還發現將各層決策單元對每個樣本所產生的決策概率拼接在一起，作為一種新的依賴于樣本輸入的“決策特征”，則此特征與樣本類別有強相關性。同時該特征對于正常樣本和對抗樣本有明顯的區分特性。

　　上圖展示了 CIFAR10 上 50000 個樣本共十類決策特征在三種對抗攻擊下 UMAP 可視化方法下的結果。可以看出，彩色點代表正常樣本點，其相似類別的決策特征有明顯聚集特性；而灰色代表所有對抗樣本點，會發現與所有正常樣本點均有區分。鑒于此，我們利用簡單的二分類器，在此決策特征上進行訓練，實現對抗樣本檢測算法。下表展示了我們提出的對抗樣本算法和其他檢測算法的對比，我們的算法均取得了檢測性能的提升。

　　三、前景

　　在螞蟻金服中，對于異常樣本和對抗攻擊樣本的檢測防御至關重要，因為這影響著服務模型系統的安全性和穩定性。上文從動態剪枝網絡出發，在減少模型實時運算量同時，利用其可理解的決策過程和決策特征，實現對抗樣本檢測算法，為構建魯棒安全穩定的機器學習系統提供基礎。

　　四、無語預訓練的網絡剪枝技術

　　而說到網絡剪枝，不可否認，網絡剪枝是一項重要的研究領域，其旨在通過減少神經網絡中冗余參數和結構，達到加速推理目的。傳統方法遵循固定流程，即先訓練一個冗余大網絡，然和通過各種剪枝策略決定將不重要的權重通道進行刪除，最后再進行微調提升性能。

　　通過研究發現，我們無需利用預訓練及冗余參數即可得到有效的壓縮網絡結構。實際上我們完全可從隨機初始化權重即可得到剪枝結構。因此我們提出全新的無預訓練完全從頭開始的剪枝流程，可以大大減少剪枝過程開銷，并且得到網絡結構在充分訓練后可以達到更高的預測性能。

　　隨著深度學習網絡被廣泛應用，減少模型大小和運行延時也成為逐漸關注的需求，這對于部署于邊緣移動端設備有實際應用價值。網絡剪枝技術即通過去除模型中冗余參數結構，來達到模型壓縮和推理加速的目的。

　　傳統網絡剪枝方法基本采取三階段流程，即預訓練，剪枝和微調。其中預訓練提供冗余參數和結構，剪枝利用不同策略去除參數，微調負責最后進一步提升模型性能。但是這些環節引入了繁瑣耗時的網絡優化過程，而且最終壓縮網絡結構及參數和原始模型甚至無依賴關系。因此我們自然提出疑問：是否必需要從一個預訓練好的模型中才可以得到剪枝模型結構？

　　在本文中我們通過實證發現，一個有效的剪枝結構無需從預訓練權重得到。實際上預訓練權重得到的剪枝結構往往是同質缺乏多樣性的，這很有可能限制了更好性能結構的探索。我們發現直接從隨機初始化權重即可以剪枝得到更多樣且最終性能更好的剪枝結構。這不僅極大的加速了模型剪枝流程，減少費時繁重的訓練過程，同時也為模型剪枝領域提供了一個強有力的基準結果。

　　五、解讀

　　對于一個神經網絡f(x;W)，其中為輸入樣本，為W模型參數，為了高效的學習到關于各層權重通道重要性的系數，我們對于每一層權重，按照其通道維度附屬一個控制門變量。該變量將會直接與模型輸出逐通道相乘，調節每層實際輸出響應。因此一個接近于 0 值的控制門代表對應權重通道可以被刪除。對于所有控制門變量
，整體優化目標為：

　　其中為樣本對應標簽，
為交叉熵損失函數。相比與傳統剪枝策略，此處我們有兩點不同。第一在優化過程中，不更新模型權重。第二我們使用隨機初始化的權重而非來依賴于預訓練模型。

　　在得到一組優化后的控制門值，我們可以設置閾值去決定哪些通道被刪除。為此，我們通過一種簡單的二分搜索策略來去搜索閾值，使得所對應的剪枝結構剛好滿足計算量約束。整體算法總結在此。

　　我們在 CIFAR10 和 ImageNet 數據集上，針對各種模型進行了廣泛的實驗。在同樣計算量約束下，我們的剪枝方法流程所得到模型可以達到更高的預測性能，更小的模型參數和更少的計算延遲。

　　六、前景

　　在螞蟻金服中，我們存在著諸多移動端設備深度學習模型的應用。為了解決模型在滿足計算量和延時的約束下，需要經過手工設計調整實現模型縮減。但這也導致整個流程重復且繁重。我們的研究指出，可以在給定計算約束下，直接從隨機網絡權重出發，實現壓縮結構的搜索。這不僅減少了大量人工調整的環節，也取得了性能更好更高效的模型結構。

總結

以上是生活随笔為你收集整理的蚂蚁金服AAAI收录论文曝光的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。