優(yōu)勢

減小模型尺寸（減少內(nèi)存占用）：如8位整型量化可減少75%的模型大小，更小的模型大小意味著不需要更多的內(nèi)存

加快推理速度：

1）8 位的訪問次數(shù)要比 32 位多，在讀取 8 位整數(shù)時只需要 32 位浮點數(shù)的 1/4 的內(nèi)存帶寬，例如，在 32 位內(nèi)存帶寬的情況下，8 位整數(shù)可以一次訪問 4 個，32 位浮點數(shù)只能 1 次訪問 1 個。而且使用 SIMD 指令(19.2節(jié)會加速介紹該指令集)，可以在一個時鐘周期里實現(xiàn)更多的計算。另一方面，8 位對嵌入式設(shè)備的利用更充分，因為很多嵌入式芯片都是 8 位、16 位的，如單片機、數(shù)字信號處理器(DSP 芯片)。

2）整型運算通常比浮點型運算更快。

降低設(shè)備功耗：內(nèi)存耗用少了推理速度快了自然減少了設(shè)備功耗

支持定制處理器：硬件設(shè)計可結(jié)合8bit方案做優(yōu)化，如npu，fpga等

?

缺點

模型量化增加了操作復雜度，在量化時需要做一些特殊的處理，否則精度損失更嚴重

模型量化會損失一定的精度，雖然在微調(diào)后可以減少精度損失，但推理精度確實下降

總結(jié)

以上是生活随笔為你收集整理的神经网络压缩之低比特量化的优劣分析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。