上海交通大學(xué)人工智能實(shí)驗(yàn)室的研究人員提出了一種新的方法，能夠在保證網(wǎng)絡(luò)模型精度的前提下對(duì)深度網(wǎng)絡(luò)進(jìn)行壓縮。相關(guān)論文已被ICCV 2017接收，由上海交通大學(xué)人工智能實(shí)驗(yàn)室李澤凡博士實(shí)現(xiàn)，倪冰冰教授，張文軍教授，楊小康教授，高文院士指導(dǎo)。

隨著人工智能在各個(gè)領(lǐng)域的應(yīng)用中大放異彩，深度學(xué)習(xí)已經(jīng)成為街頭巷尾都能聽到的詞匯。然而，網(wǎng)絡(luò)越來越深，數(shù)據(jù)越來越大，訓(xùn)練越來越久，如何在保證準(zhǔn)確率的情況下加速網(wǎng)絡(luò)，甚至讓網(wǎng)絡(luò)在CPU或者移動(dòng)設(shè)備上進(jìn)行訓(xùn)練與測(cè)試，就變成了迫在眉睫的問題。

上海交通大學(xué)人工智能實(shí)驗(yàn)室的研究人員發(fā)表了論文《基于高階殘差量化的高精度網(wǎng)絡(luò)加速》（Performance Guaranteed Network Acceleration via High-Order Residual Quantization），提出一種新的方法，能夠在保證網(wǎng)絡(luò)模型精度的前提下對(duì)深度網(wǎng)絡(luò)進(jìn)行壓縮。實(shí)驗(yàn)結(jié)果，他們將網(wǎng)絡(luò)的大小降低了約32倍，速度上有30倍的提升。雖然以往的方法在體積和速度上也曾經(jīng)取得類似的效果，但本論文提出的方法在精度保證上更勝一籌。

新的壓縮方法HORQ：加快網(wǎng)絡(luò)計(jì)算的同時(shí)保證準(zhǔn)確率

除了網(wǎng)絡(luò)pruning，網(wǎng)絡(luò)稀疏近似等等，網(wǎng)絡(luò)二值化也是常見的網(wǎng)絡(luò)加速方式。通常情況下，我們用 +1 和 -1 來代替原來的浮點(diǎn)數(shù)數(shù)值，使得卷積中的乘法操作變成加減操作，而如果輸入和權(quán)重同時(shí)二值化，乘法操作就會(huì)變成異或操作。

這看似是一種合理的網(wǎng)絡(luò)壓縮方式，然而如果單純的運(yùn)用閾值二值化方法對(duì)網(wǎng)絡(luò)輸入進(jìn)行二值化處理，那么模型最后的精度將無法得到保證。但如果不運(yùn)用二值化方法對(duì)網(wǎng)絡(luò)進(jìn)行加速，那么就又無法利用二值化所帶來的在計(jì)算和存儲(chǔ)方面的優(yōu)勢(shì)。

這篇文章提出的HORQ（High Order Residual Quantization）方法，提出了一種針對(duì)輸入的高階殘差二值量化的方法，既能夠利用二值化計(jì)算來加快網(wǎng)絡(luò)的計(jì)算，又能夠保證訓(xùn)練所得的二值化網(wǎng)絡(luò)模型擁有較高的準(zhǔn)確率。

圖一展示了如何用HORQ方法將一個(gè)普通的卷積層進(jìn)行殘差量化。

圖一 HORQ結(jié)構(gòu)

之前的二值化方法，例如XNOR，對(duì)輸入簡(jiǎn)單地采用了閾值量化的操作。這樣的方法可以看成是對(duì)浮點(diǎn)數(shù)的一階二值近似方法。在此之上，本文運(yùn)用遞歸閾值量化的方法，提出了HORQ的框架。具體來講，如圖一所示，在第一次閾值量化操作后，我們可以定義并計(jì)算改階近似對(duì)應(yīng)的殘差，然后對(duì)該階殘差進(jìn)行新一輪的二值近似。通過對(duì)高階殘差的近似，我們可以得到對(duì)應(yīng)于不同尺度下的二值feature map。將這些feature map相加，便可得到最終的輸出。

實(shí)驗(yàn)結(jié)果

這篇文章的實(shí)驗(yàn)部分在MNIST和CIFAR-10數(shù)據(jù)集上進(jìn)行測(cè)試，發(fā)現(xiàn)HORQ-net對(duì)比之前對(duì)輸入簡(jiǎn)單采取一階閾值二值化的方法有喜人的優(yōu)勢(shì)：


圖二 MNIST實(shí)驗(yàn)

圖三 Cifar-10實(shí)驗(yàn)

我們發(fā)現(xiàn)，對(duì)于二階殘差量化方法，該方法將網(wǎng)絡(luò)的大小降低了約32倍，同時(shí)速度上有30倍的提升，相比XNOR-net在兩個(gè)MNIST和CIFAR-10上測(cè)試準(zhǔn)確率均有提升，并且展現(xiàn)出了可在CPU上進(jìn)行網(wǎng)絡(luò)訓(xùn)練的潛能。


圖四 HORQ方法加速比性能分析

圖五 HORQ方法加速比與量化階數(shù)分析

HORQ方法對(duì)卷積層計(jì)算的的加速比跟卷積核大小，feature map數(shù)量，以及殘差量化的階數(shù)都有較大關(guān)系。這些關(guān)系體現(xiàn)在圖四和圖五中。而且，如圖六所示，基于二值化的模型存儲(chǔ)空間可以得到大幅度的降低。

結(jié)語

該論文提出的HORQ方法可以作為一個(gè)基礎(chǔ)的二值量化的方法，用于網(wǎng)絡(luò)的輸入二值化中，能夠在保證網(wǎng)絡(luò)模型精度的前提下，利用二值量化的技術(shù)提升網(wǎng)絡(luò)的計(jì)算速度，而且同時(shí)可以根據(jù)實(shí)際的硬件需要來調(diào)整殘差階數(shù)以適應(yīng)需求。

這個(gè)方法有著很大的發(fā)展和使用前景。對(duì)于一般的深度學(xué)習(xí)網(wǎng)絡(luò)，HORQ方法能能夠很大程度上加速深度網(wǎng)絡(luò)的計(jì)算速度。由于網(wǎng)絡(luò)的每層輸入的輸入和權(quán)值都被二值化，模型的前向傳播時(shí)間得到大大降低，同時(shí)存儲(chǔ)模型所需的空間得到大大壓縮，使得在資源受限的小運(yùn)算平臺(tái)，例如手機(jī)和筆記本上運(yùn)行大規(guī)模深度網(wǎng)絡(luò)模型成為可能。另外，高階殘差量化的方法能夠使得網(wǎng)絡(luò)精度的得到保證，使得網(wǎng)絡(luò)不再會(huì)因?yàn)楹?jiǎn)單二值化方法而出現(xiàn)精度大幅下降。

該論文已經(jīng)被ICCV2017接收，由上海交通大學(xué)人工智能實(shí)驗(yàn)室李澤凡博士實(shí)現(xiàn)，倪冰冰教授，張文軍教授，楊小康教授，高文院士指導(dǎo)。

來源：新智元
原文鏈接

總結(jié)

以上是生活随笔為你收集整理的【压缩率3000%】上交大ICCV：精度保证下的新型深度网络压缩框架的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。