作者丨郝澤宇

學校丨西安交通大學人機所碩士生

研究方向丨深度神經(jīng)網(wǎng)絡壓縮

鳴謝 | XJTU @魏亞東 I.C. @董豪

量化模型（Quantized Model）是一種模型加速（Model Acceleration）方法的總稱，包括二值化網(wǎng)絡（Binary Network）、三值化網(wǎng)絡（Ternary Network），深度壓縮（Deep Compression）等。鑒于網(wǎng)上關于量化模型的不多，而且比較零散，本文將結合 TensorLayer 來講解各類量化模型，并討論一下我們過去遇到的各種坑。文章最后會介紹一些關于人工智能芯片的技術。?

TensorLayer 是一個基于 TensorFlow 的高級開發(fā)工具，提供大量數(shù)據(jù)處理和建模 API，具備靈活性高、運行速度快等優(yōu)點。今年 3 月，TensorLayer 提供了一套搭建量化網(wǎng)絡的試驗版本 API，不過目前這套 API 依然用矩陣乘法而不是加減或 bitcount 運算來加速（我們等會會提到）。

因此，這套 API 并不能加速，關于產(chǎn)品部署，目前可以用 TensorLayer 訓練模型，然后用自定義的 C/C++ 實現(xiàn)的二值化計算（TensorLayer 有可能會提供一套額外的專門運行二值化網(wǎng)絡的框架，并支持可以從 TensorLayer 那讀取模型）。

注意，作為試驗版本，這套 API 有可能會被修改。更多關于模型加速的技術，可關注：https://github.com/tensorlayer/tensorlayer/issues/416?

Keywords：模型壓縮（Model Compression），模型加速（Model Acceleration），二值化網(wǎng)絡（Binary Network），量化模型（Quantized Model）

隨著神經(jīng)網(wǎng)絡深度增加，網(wǎng)絡節(jié)點變得越來越多，規(guī)模隨之變得非常大，這是對移動硬件設備非常不友好的，所以想要在有限資源的硬件設備上布置性能良好的網(wǎng)絡，就需要對網(wǎng)絡模型進行壓縮和加速，其中量化模型由于在硬件上移植會非常方便，在理論上來講，是非常有發(fā)展?jié)摿Φ摹?/span>

比較有名氣的量化模型有 Deepcompression，Binary-Net，Tenary-Net，Dorefa-Net，下面對這幾種量化模型進行介紹。

DeepCompression

SongHan 這篇文章可以說是神經(jīng)網(wǎng)絡壓縮領域開山之作，怎么說呢這篇文章很早就注意到了，也復現(xiàn)了，做了很多實驗。也一直想用到硬件參數(shù)壓縮以及模型加速當中，在這個過程中遇到了很多問題，現(xiàn)在提出來跟大家一起探討。

算法整體框架如圖：

DeepCompression 主要分為三個主要的部分：剪枝，量化，哈夫曼編碼，下面分別探討這幾種方法并且分析他們在硬件前向配置的加速潛力。

剪枝（purning）：其實這個思路的核心非常簡單，就是當網(wǎng)絡收斂到一定程度的時候，作者認為閾值小于一定權重的權重對網(wǎng)絡作用很小，那么這些權重就被無情的拋棄了。注意，是拋棄，徹底拋棄，在復現(xiàn)的時候這個地方是一個大坑，被剪掉的權重不會再接收任何梯度。

然后下面的套路簡單了，就是很簡單的將網(wǎng)絡 reload，然后重新訓練至收斂。重復這個過程，直到網(wǎng)絡參數(shù)變成一個高度稀疏的矩陣。這個過程最難受的就是調參了，由于小的參數(shù)會不斷被剪枝，為了持續(xù)增大壓縮率，閾值必須不斷增大，那么剩下的就看你的調參大法 6 不 6 了。

當初為了解決這個問題還專門設計了一個基于準確率損失和壓縮率上升的公式，用于壓縮。算是效果還可以，自己調參真的很難受。

最后參數(shù)會變成一個稀疏的矩陣，作者自己提出了一種編碼方式：

當壓縮率低于一定的值時，編碼解碼開銷其實是非常大的，甚至到一定范圍，編碼后的存儲量甚至大于不壓縮。

第二個就是量化了，將接近的值變成一個數(shù)。大概的思路如下：

需要注意的是，量化其實是一種權值共享的策略。量化后的權值張量是一個高度稀疏的有很多共享權值的矩陣，對非零參數(shù)，我們還可以進行定點壓縮，以獲得更高的壓縮率。?

論文的最后一步是使用哈夫曼編碼進行權值的壓縮，其實如果將權值使用哈夫曼編碼進行編碼，解碼的代價其實是非常大的，尤其是時間代價。還需要注意的是，DeepCompression 中對于輸出沒有壓縮。所以這種方案對于硬件加速的主要作用體現(xiàn)在遇到 0 即可 zero skip，即使用判斷語句替代乘法器。

Binary-Net

• Quantized Neural Networks: Training Neural Networks with Low Precision Weights and Activations

• Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1

• XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

通常我們在構建神經(jīng)網(wǎng)絡模型中使用的精度都是 32 位單精度浮點數(shù)，在網(wǎng)絡模型規(guī)模較大的時候，需要的內存資源就會非常巨大，而浮點數(shù)是由一位符號位，八位指數(shù)位和尾數(shù)位三個部分構成的。完成浮點加減運算的操作過程大體分為四步：?

1. 0 操作數(shù)的檢查,即若至少有一個參與運算的數(shù)為零直接可得到結果；

2. 比較階碼大小并完成對階；?

3. 尾數(shù)進行加或減運算；?

4. 結果規(guī)格化并進行舍入處理。?

帶來的問題是網(wǎng)絡在運行過程中不僅需要大量的內存還需要大量的計算資源，那么 quantization 的優(yōu)越性就體現(xiàn)出來了，在 2016 年發(fā)表在 NIPS 的文章 Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 中，提出了利用降低權重和輸出的精度的方法來加速模型，因為這樣會大幅的降低網(wǎng)絡的內存大小和訪問次數(shù)，并用 bit-wise operator 代替 arithmetic operator。

下面具體介紹一下這種方法的原理，在訓練 BNN 時，將權重和輸出置為 1 或 -1，下面是兩種二值化的方法：?

第一種直接將大于等于零的參數(shù)置為 1，小于 0 的置為 -1；

第二種將絕對值大于 1 的參數(shù)置為 1，將絕對值小于 1 的參數(shù)根據(jù)距離 ±1 的遠近按概率隨機置為 ±1。

公式中是一個 clip 函數(shù)：

第二種二值化方式看起來更為合理，但是由于引入了按概率分布的隨機一比特數(shù)，所以硬件實現(xiàn)會消耗很多時間，我們通常使用第一種量化方法來對權重和輸出進行量化。?

雖然 BNN 的參數(shù)和各層的輸出是二值化的，但梯度不得不用較高精度的實數(shù)而不是二值進行存儲。因為梯度很小，所以使用無法使用低精度來正確表達梯度，同時梯度是有高斯白噪聲的，累加梯度才能抵消噪聲。?

另一方面，二值化相當于給權重和輸出值添加了噪聲，而這樣的噪聲具有正則化作用，可以防止模型過擬合。所以，二值化也可以被看做是 Dropout 的一種變形，Dropout 是將輸出按概率置 0，從而造成一定的稀疏性，而二值化將權重也進行了稀疏，所以更加能夠防止過擬合。?

由于 sign 函數(shù)的導數(shù)在非零處都是 0，所以，在梯度回傳時使用 tanh 來代替 sign 進行求導。假設 loss function 是 C，input 是 r，對 r 做二值化有：

C 對 q 的的導數(shù)使用 gq 表示，那么 q 對 r 的導數(shù)就變成了：

這樣就可以進行梯度回傳，給出一種包含 bn 的二值化網(wǎng)絡的梯度算法：

BN 最大的作用就是加速學習，減少權重尺度影響，帶來一定量的正則化，可以提高網(wǎng)絡性能，但是，BN 涉及很多矩陣運算（matrix multiplication），會降低運算速度，因此，提出了一種 shift-based Batch Normalization。?

使用 SBN 來替換傳統(tǒng)的 BN，SBN 最大的優(yōu)勢就是幾乎不需要進行矩陣運算，而且還不會對性能帶來損失。基于 SBN，又提出 Shift based AdaMax：

網(wǎng)絡除了輸入以外，全部都是二值化的，所以需要對第一層進行處理：

作者還對二值化網(wǎng)絡擴展到 n-bit quantized：

二值化的論文對 mnist、cifar-10、SVHN 進行了測試，最后得到的 test error 如下：

完了作者為了挑戰(zhàn)高難度，又用了 alexnet 和 googlenet 在 imagenet 上做了測試，看出來結果也是一般，所以較復雜的網(wǎng)絡較大的數(shù)據(jù)集采用 bnn 看來影響還是蠻大的。

作者不服氣又提出了一些小技巧，比如什么放寬 tanh 的邊界啊，用 2-bit 的 activitions，也提升了一些準確率，作者也在 rnn 做 language task 上進行了二值化，結果也貼出來，分析了那么多模型，應該可以說在犧牲那么多運算和儲存資源的情況下準確率差強人意。

x = tf.placeholder(tf.float32, shape=[batch_size, 28, 28, 1])
net = tl.layers.InputLayer(x, name='input')
net = tl.layers.BinaryConv2d(net, 32, (5, 5), (1, 1), padding='SAME', b_init=None, name='bcnn1')
net = tl.layers.MaxPool2d(net, (2, 2), (2, 2), padding='SAME', name='pool1')
net = tl.layers.BatchNormLayer(net, act=tl.act.htanh, is_train=is_train, name='bn1')

net = tl.layers.SignLayer(net)
net = tl.layers.BinaryConv2d(net, 64, (5, 5), (1, 1), padding='SAME', b_init=None, name='bcnn2')
net = tl.layers.MaxPool2d(net, (2, 2), (2, 2), padding='SAME', name='pool2')
net = tl.layers.BatchNormLayer(net, act=tl.act.htanh, is_train=is_train, name='bn2')

net = tl.layers.FlattenLayer(net)

net = tl.layers.SignLayer(net)
net = tl.layers.BinaryDenseLayer(net, 256, b_init=None, name='dense')
net = tl.layers.BatchNormLayer(net, act=tl.act.htanh, is_train=is_train, name='bn3')

net = tl.layers.SignLayer(net)
net = tl.layers.BinaryDenseLayer(net, 10, b_init=None, name='bout')
net = tl.layers.BatchNormLayer(net, is_train=is_train, name='bno')

上面是給 MNIST 設計的一個 BinaryNet。?

作者最后又分析了一下時間復雜度和功率效率，畢竟 bnn 的主要任務就是壓縮和加速，說了時間復雜度可以降低 60%，原理是說可以卷積核復用。

舉個例子，因為一個 3 x 3 的卷積核做了二值以后，只有 2 的 9 次方個獨一的卷積核，相比于沒有二值化的卷積核，在文章中的 cifar-10 網(wǎng)絡中獨一的卷積核數(shù)量只有 42% 那么多。

內存資源減少了 31/32（原本每個參數(shù) 32bit，壓縮后每個參數(shù) 1bit），運算資源，硬件層面上看 32bits 損耗 200 個位，1bit 只損耗一個位（bit-wise operation）。

最后在 gpu 上還可以進行 SWAR（single instruction，multiple data within register）的處理，對 xnor 進行優(yōu)化，SWAR 的基本思想是將 32 個二進制變量組連接成 32 位寄存器，從而在按位操作（例如 XNOR）上獲得 32 倍的加速。?

使用 SWAR，可以僅用 3 條指令評估 32 個連接：

就可以用 1（加和）+4（popcount，四個 8 位）+1（xnor）個 time cycle 來進行運算，原來的，則是 32 個 time cycle，提高了 32/6 倍的速度。

Xnor-Net 在 BNN 的基礎上引入了比例因子，讓二值化之后的參數(shù)和原始的參數(shù)的 L2 范數(shù)最小，提高了模型的精度。

對卷積操作的比例因子進行簡化，降低了其運算復雜度。

由于在一般網(wǎng)絡下，一層卷積的 kernel 規(guī)格是固定的，kernel 和 input 在進行卷積的時候，input 會有重疊的地方，所以在進行量化因子的運算時，先對 input 全部在 channel 維求平均，得到的矩陣 A，再和一個 w x h 的卷積核 k 進行卷積得到比例因子矩陣 K，其中：

在 imagenet 上結果也比 bnn 要好很多。

Ternary-Net

• Ternary Weight Networks paper?

權值三值化的核心：?

首先，認為多權值相對比于二值化具有更好的網(wǎng)絡泛化能力。其次，認為權值的分布接近于一個正態(tài)分布和一個均勻分布的組合。最后，使用一個 scale 參數(shù)去最小化三值化前的權值和三值化之后的權值的 L2 距離。?

基本原理闡述如下：?

參數(shù)三值化的方式如下：

其實就是簡單的選取一個閾值（Δ），大于這個閾值的權值變成 1，小于-閾值的權值變成 -1，其他變成 0。當然這個閾值其實是根據(jù)權值的分布的先驗知識算出來的。本文最核心的部分其實就是閾值和 scale 參數(shù) alpha 的推導過程。

在參數(shù)三值化之后，作者使用了一個 scale 參數(shù)去讓三值化之后的參數(shù)更接近于三值化之前的參數(shù)。具體的描述如下：

利用此公式推導出 alpha 的值如下：

由此推得閾值的計算公式如下：

由于這個式子需要迭代才能得到解，會造成訓練速度過慢的問題，所以如果可以提前預測權值的分布，就可以通過權值分布大大減少閾值計算的計算量。文中推導了正態(tài)分布和平均分布兩種情況，并按照權值分布是正態(tài)分布和平均分布組合的先驗知識提出了計算閾值的經(jīng)驗公式。

三值化論文的最終結果如下：

反正就是抓住 BNN 一頓 diss 唄，誰讓人家準確率高呢。

當然，這種方法有進化版本，我們完全可以將權值組合變成（-2，-1，0，1，2）的組合，以期獲得更高的準確率。正好我之前也推過相關的公式，現(xiàn)在貼出來供大家參考，這個時候權值的離散化公式變成了：

Scale 參數(shù)的計算公式變成了：

此時閾值的計算公式變成了：

需要聲明的是，這個算法我只在一個非常不知名的 matlab 的一個純 cpu 版本慢到爆炸反正就是難以忍受那種框架上面實際實現(xiàn)過，取得了比三值化更高的準確率，但是！對于這個算法在 tensorflow 上面的實現(xiàn)我真是一籌莫展，因為 tensorflow 某些機制……算法的具體實現(xiàn)方式如下：

net = tl.layers.InputLayer(x, name='input')
net = tl.layers.TernaryConv2d(net, 32, (5, 5), (1, 1), padding='SAME', b_init=None, name='bcnn1')
net = tl.layers.MaxPool2d(net, (2, 2), (2, 2), padding='SAME', name='pool1')
net = tl.layers.BatchNormLayer(net, act=tl.act.htanh, is_train=is_train, name='bn1')
net = tl.layers.TernaryConv2d(net, 64, (5, 5), (1, 1), padding='SAME', b_init=None, name='bcnn2')
net = tl.layers.MaxPool2d(net, (2, 2), (2, 2), padding='SAME', name='pool2')
net = tl.layers.BatchNormLayer(net, act=tl.act.htanh, is_train=is_train, name='bn2')

net = tl.layers.FlattenLayer(net)
net = tl.layers.TernaryDenseLayer(net, 256, b_init=None, name='dense')
net = tl.layers.BatchNormLayer(net, act=tl.act.htanh, is_train=is_train, name='bn3')
net = tl.layers.TernaryDenseLayer(net, 10, b_init=None, name='bout')
net = tl.layers.BatchNormLayer(net, is_train=is_train, name='bno')
return net

上面是 TensorLayer 提供的三值化的 MNIST 測試代碼。

權值三值化并沒有完全消除乘法器，在實際前向運算的時候，它需要給每一個輸出乘以一個 scale 參數(shù)，然后這個時候的權值是（-1，0，1），以此來減少了乘法器的數(shù)目，至于為什么減少跟 BNN 是一樣的道理。

DoReFa-Net

• DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients?

Face++ 團隊在 16 年 6 月提出的 Dorefa-Net 和上面兩種量化方法思路也是比較接近，但 DoReLa-Net 對比例因子的設計更為簡單，這里并沒有針對卷積層輸出的每一個過濾映射計算比例因子，而是對卷積層的整體輸出計算一個均值常量作為比例因子。這樣的做法可以簡化反向運算，因為在他們反向計算時也要實現(xiàn)量化。?

文章首先概述如何利用 DoReFa-Net 中的比特卷積內核，然后詳細說明量化權值，激活和梯度以低比特數(shù)的方法。?

和之前 BNN 的點積方法一樣，DoReFa 也采用了這種簡化的點積方式。

對于定點數(shù) x 和 y，可以得到下面的公式：

同樣為了規(guī)避 0 梯度的問題，采用了直通估計（STE）：

對于權重二值化的梯度回傳，采用下面的方法，即二值化乘比例因子，回傳時直接跳過二值化。

比特數(shù) k 大于 1 的梯度回傳，需要先對參數(shù) clip 到 [0,1] 之間：

由于二值化輸出會降準確率，所以采用 k-bit 量化（k>1），這里的 r 也要經(jīng)過 clip。

DoReFa 的梯度量化方法比較復雜，因為梯度是無界的，并且可能具有比隱層輸出更大的值范圍。我們可以通過使可微分非線性函數(shù)傳遞值來將隱層輸出范圍映射到 [0,1]。 但是，這種構造不適用于漸變。 文章設計了以下用于梯度 k 位量化的函數(shù)，這里 dr 是 r 對損失函數(shù) C 的偏導。

為了補償量化梯度帶來的潛在偏差，在 clip 后的結果增加了一個高斯噪聲。

梯度的量化僅在回程中完成，因此文章在每個卷積層的輸出上應用以下 STE：

最終得到了 DoReFa-net 的算法，這里對第一層和最后一層不做量化，因為輸入層就圖像任務來說通常是 8-bit 的數(shù)據(jù)，做低比特量化會對精度造成很大的影響，輸出層一般是一些 one-hot 向量，所以一般對輸出層也保持原樣，除非做特殊的聲明。

DoReFa-net 為了進一步節(jié)省資源將 3,4,6 步放在一起做，將 11,12 步融合在一起，節(jié)省了中間步驟的全精度數(shù)儲存消耗的資源。

DoReFa-Net 分別對 SVHN 和 ImageNet 進行了實驗，準確率如下：

net = tl.layers.InputLayer(x, name='input')
net = tl.layers.DorefaConv2d(net, 1, 3, 32, (5, 5), (1, 1), padding='SAME', b_init=None, name='bcnn1') ?#pylint: disable=bare-except
net = tl.layers.MaxPool2d(net, (2, 2), (2, 2), padding='SAME', name='pool1')
net = tl.layers.BatchNormLayer(net, act=tl.act.htanh, is_train=is_train, name='bn1')
net = tl.layers.DorefaConv2d(net, 1, 3, 64, (5, 5), (1, 1), padding='SAME', b_init=None, name='bcnn2') ?#pylint: disable=bare-except
net = tl.layers.MaxPool2d(net, (2, 2), (2, 2), padding='SAME', name='pool2')
net = tl.layers.BatchNormLayer(net, act=tl.act.htanh, is_train=is_train, name='bn2')

net = tl.layers.FlattenLayer(net)
net = tl.layers.DorefaDenseLayer(net, 1, 3, 256, b_init=None, name='dense')
net = tl.layers.BatchNormLayer(net, act=tl.act.htanh, is_train=is_train, name='bn3')
net = tl.layers.DenseLayer(net, 10, b_init=None, name='bout')
net = tl.layers.BatchNormLayer(net, is_train=is_train, name='bno')

上面是 TensorLayer 提供的 DoReFa-Net 的 MNIST測試代碼，需要注意的是不同于 DoReFa-Net，我們的實現(xiàn)默認梯度為 32bits 來盡量獲得更高的訓練準確率，而且在實際的硬件前向配置中其實是不需要梯度信息的。

壓縮算法局限性

目前的壓縮算法是存在一些局限性的，最主要的問題還是準確率，論文中為了數(shù)據(jù)好看往往是選擇傳統(tǒng)的神經(jīng)網(wǎng)絡結構比如 AlexNet，VGG 作為測試對象，而這種網(wǎng)絡一般是比較冗余的。

如果想把參數(shù)壓縮方案和其他一些方案結合，比如說下面講到的一些 SqueezeNet，MobileNets，ShuffleNet 結合起來，會對準確率造成比較大的影響。原因可以歸為參數(shù)壓縮算法其實是一個找次優(yōu)解的問題，當網(wǎng)絡冗余度越小，解越不好找。所以，目前的高精度壓縮算法只適合于傳統(tǒng)的有很多冗余的網(wǎng)絡。

更多加速方法

理論上來講，量化模型是通往高速神經(jīng)網(wǎng)絡最佳的方法，不過由于種種問題，如實現(xiàn)難度大、準確性不穩(wěn)定，使用門檻非常大，所以除了量化模型外，目前有很多更加常用的模型加速方法：?

• A Survey of Model Compression and Acceleration for Deep Neural Networks (end of 2017)?

這是 2017 年底的一篇 survey。

有基于 Pruning 的：

• Channel Pruning for Accelerating Very Deep Neural Networks?

也有基于改變卷積方式的，這是目前最常用的方法：

• SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size?

• MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications?

• ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices?

傳送門：縱覽輕量化卷積神經(jīng)網(wǎng)絡：SqueezeNet、MobileNet、ShuffleNet、Xception

值得注意的是，當 TensorLayer 和 Keras 使用完全相同的 MobileNet 時，TensorLayer 的速度是后者的 3 倍（Titan XP 上測試），大家可以試試。

關于AI芯片

關于硬件實現(xiàn)，這里要推薦一篇非常好的survey：

http://www.rle.mit.edu/eems/wp-content/uploads/2017/11/2017_pieee_dnn.pdf

大家看完這篇文章會對目前最先進的神經(jīng)網(wǎng)絡硬件加速架構有所了解。

由于目前基于 PC 平臺的神經(jīng)網(wǎng)絡加速一定程度上不能滿足需要，開發(fā)基于硬件例如 FPGA 的硬件加速平臺顯得很有必要。其實硬件加速神經(jīng)網(wǎng)絡前向運算的最主要的任務就是完成卷積優(yōu)化，減少卷積運算的資源和能源消耗非常核心。

卷積優(yōu)化的主要思路

內存換取時間：如果深度學習中每一層的卷積都是針對同一張圖片，那么所有的卷積核可以一起對這張圖片進行卷積運算，然后再分別存儲到不同的位置，這就可以增加內存的使用率，一次加載圖片，產(chǎn)生多次的數(shù)據(jù)，而不需要多次訪問圖片，這就是用內存來換時間。

乘法優(yōu)化：以下圖為例，上面是兩張圖片，右邊是卷積核。我們可以把卷積核心展開成一條行，然后多個卷積核就可以排列成多行，再把圖像也用類似的方法展開，就可以把一個卷積問題轉換成乘法問題。這樣就是一行乘以一列，就是一個結果了。這樣雖然多做了一些展開的操作，但是對于計算來講，速度會提升很多。

GPU優(yōu)化：

1. 了解 IO 訪問的情況以及 IO 的性能；?

2. 多線程的并行計算特性；?

3. IO 和并行計算間的計算時間重疊。

對于 NVIDIA 的 GPU 來講，內存訪問是有一些特性的，連續(xù)合并訪問可以很好地利用硬件的帶寬。你可以看到，NVIDIA 最新架構的 GPU，其核心數(shù)目可能并沒有明顯增加，架構似乎也沒有太大變化，但在幾個計算流處理器中間增加緩存，就提高了很大的性能，為 IO 訪問這塊兒帶來了很大優(yōu)化。?

Strassen 算法

分析 CNN 的線性代數(shù)特性，增加加法減少乘法，這樣降低了卷積運算的計算的復雜度，但是這種方法不適合在硬件里面使用，這里就不做詳細的介紹了。?

卷積中的數(shù)據(jù)重用

在軟件中的卷積運算，其實我們是在不斷的讀取數(shù)據(jù)，進行數(shù)據(jù)計算。也就是說卷積操作中數(shù)據(jù)的存取其實是一個很大的浪費，卷積操作中數(shù)據(jù)的重用如下圖所示：

那么想辦法減少數(shù)據(jù)的重用，減少數(shù)據(jù)的存取成為解決卷積計算問題的一個很重要的方面。

目前這樣的方法有很多種，最主要的方法包括以下幾種：?

權重固定：最小化權重讀取的消耗，最大化卷積和卷積核權重的重復使用；?

輸出固定：最小化部分和 R/W 能量消耗，最大化本地積累；?

NLR (No Local Reuse)：使用大型全局緩沖區(qū)共享存儲，減少 DRAM 訪問能耗；?

RS：在內部的寄存器中最大化重用和累加，針對整體能源效率進行優(yōu)化，而不是只針對某種數(shù)據(jù)類型。?

下表是在 45NM CMOS 的基礎上對于不同的操作的能耗進行的統(tǒng)計。對 32 位的各種操作的能耗進行統(tǒng)計，可以看到從 DRAM 里面存取數(shù)據(jù)的能量消耗是最大的。是 32 位整型數(shù)據(jù)進行加法的能量消耗的 6400 倍。那么，從數(shù)據(jù)存取角度考慮卷積的優(yōu)化就顯得尤為必要了。

可行性分析

在進行設計之前先對設計的可行性進行分析，分析過程包括卷積運算可實現(xiàn)性分析、卷積運算并行性分析，卷積的計算公式可以表示成下面的形式：

各個參數(shù)的意義在表內詳細表示：

在 GPU 中加速時，主要通過將數(shù)據(jù)最大程度的并行運算，增加了 GPU 的使用率從而加快了速度。但是這種方法在硬件實現(xiàn)的時候是不可行的，因為這種方法本質上沒有降低能耗，而 DNN 模型的高能耗和大量的數(shù)據(jù)是其在可穿戴設備上面進行部署所需要面對的困難。?

下面對一個卷積部分和運算進行分析，如下圖 ：?

對第一組的 PE 整列，輸入的是從 Image 的第 0 行到第 R-1 行的 S 列的數(shù)據(jù)，同樣的對于第二列的 PE 陣列輸入的是第 2 行到第 R 的 S 列的數(shù)據(jù)。每一列的 PE 計算得到一個最終的 Psum 的結果，那么如果設置 PE 陣列的列數(shù)為 N 的話，每次我們就可以計算得到連續(xù)的 N 個部分和的結果。?

不斷更新 PE（process element，即處理單元）中 Image 緩沖區(qū)的數(shù)據(jù)，就可以模擬卷積在水平方向上面的滑動，不斷更新整個 PE 陣列的數(shù)據(jù)輸入，就可以模擬卷積窗在垂直方向上面的滑動，最終完成整個卷積運算的實現(xiàn)。

對應的卷積運算公式的細節(jié)在圖中已經(jīng)給出了，每一組 PE 產(chǎn)生一個部分和的結果的話，那么增加 PE 陣列的組數(shù)，就可以一次性產(chǎn)生多個部分和計算結果，這里的組數(shù)就是并行度。?

上面的內容簡單論證用數(shù)據(jù)重用的方式實現(xiàn)卷積運算的可行性，至于實現(xiàn)的具體數(shù)據(jù)流，還有相對用的系統(tǒng)的架構。

壓縮算法在實際硬件芯片的應用

其實壓縮算法應用硬件芯片非常簡單，就是簡單的將硬件芯片原來使用的乘法器進行替換，如果是 BNN，參數(shù)只有兩種情形，那么如果參數(shù)為 1 的時候，直接通過，不計算，如果參數(shù)為 -1 的時候，翻轉最高位即可。?

同理三值化中增加了一個 0 參數(shù)，這個可以直接跳過不進行計算。至于參數(shù)為（-2，-1，0，1，2）的情形，參數(shù)為 2 時就增加了一個移位運算，參數(shù)為 -2 的時候增加了一個最高位的翻轉。?

如果是 DoReFaNet，權值和輸出都固定在一定的種類內部，那么他們的乘積情形也只有一定的種類，這個時候相當于把乘法器變成了一個尋址操作，每次乘法只需要在 LUT（look-up table，查找表）里面尋找到正確的結果讀出即可。

點擊以下標題查看更多文章：?

• 進化計算在深度學習中的應用 | 附多篇論文解讀

• 深度協(xié)同過濾：用神經(jīng)網(wǎng)絡取代內積建模

• 簡明條件隨機場CRF介紹 | 附帶純Keras實現(xiàn)
  

• 深度強化學習在指代消解中的一種嘗試
  

• 綜述：圖像風格化算法最全盤點

▲?戳我查看招募詳情

#作 者 招 募#

讓你的文字被很多很多人看到，喜歡我們不如加入我們

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 進入作者博客

總結

以上是生活随笔為你收集整理的超全总结：神经网络加速之量化模型 | 附带代码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。