大家好，歡迎來到我們的星球知識小卡片專欄，本期給大家分享模型量化的核心技術點。

作者&編輯 | 言有三

1 二值(1bit)量化

二值量化是最高效率的量化方式，也可以稱之為1bit量化，即將32位浮點數量化為1bit整型，非常適合FPGA等平臺進行并行運算。二值量化模型以Binary Connect和Binarized Neural Networks為代表。

2 8bit量化

8bit量化是當前工業界最常見的量化方法，也是當前精度保持最高的量化類型。Tensorflow，TensorRT等框架都提供了支持，并且各自代表著非對稱量化和對稱量化的方案，以Nvidia的8bit對稱量化方案為例：

3 任意bit量化

除了2bit和8bit兩類最常見的量化方法，3bit，4bit，6bit等也經常被研究，以韓松等人提出的Deep Compression為例，它還融合了模型剪枝技術。

4 混合精度量化

所謂混合精度量化，它可以指不同的網絡層有不同的量化位階，或者權重，激活以及輸出采用不同的量化方案，當下還可以利用AutoML技術來實現，以HAQ框架為例。

5 量化訓練框架

目前前向傳播中權重和激活的量化比較成熟，但是訓練中大部分的計算在反向傳播步驟，如果能夠將量化技術應用在反向傳播中，則可以加速卷積的反向梯度傳播過程，不過這需要對梯度也進行量化操作，而梯度的分布比較復雜，容易帶來誤差造成訓練過程的不穩定。

6 其他

總的來說，模型量化有非常多的研究方向，包括：

(1) 非均勻量化方案的設計。

(2) 基于重建與損失敏感的量化方法。

(3) 量化正則化方法。

(4) 網絡結構的設計。

(5) 訓練中量化框架的設計。

(6) 量化的具體硬件實現。

(7) 其他。

以上內容，如果你不想自己學習，可以去我們知識星球的網絡結構1000變板塊—模型量化板塊閱讀，純屬自愿，不愿勿噴。

有三AI知識星球

知識星球是有三AI的付費內容社區，里面包括各領域的模型學習，數據集下載，公眾號的付費圖文原稿，技術總結PPT和視頻，知識問答，書籍下載，項目推薦，線下活動等資源，了解詳細請閱讀以下文章：

【雜談】有三AI知識星球一周年了！為什么公眾號+星球才是完整的？

【雜談】萬萬沒想到，有三還有個保密的‘朋友圈’，那里面都在弄啥！

轉載文章請后臺聯系

侵權必究

往期精選

• 【雜談】2020年有三AI計算機視覺培養計劃詳解，該不該學&怎么學CV的簡單討論

• 【年終總結】2019年有三AI做了什么，2020年我們要做什么？
  

• 【總結】有三AI秋季劃模型優化組3月直播講了哪些內容，為什么每一個從事深度學習的同學都應該掌握模型優化的內容

• 【總結】有三AI秋季劃人臉算法組3月直播講了哪些內容，計算機視覺你不可能繞開人臉圖像

• 【總結】有三AI秋季劃圖像質量組3月直播講了哪些內容，為什么解決好底層圖像處理問題那么重要

• 【星球知識卡片】殘差網絡家族10多個變種學習卡片，請收下！

• 【星球知識卡片】移動端高效率的分組網絡都發展到什么程度了？

• 【星球知識卡片】注意力機制發展如何了，如何學習它在各類任務中的應用？

• 【星球知識卡片】模型剪枝有哪些關鍵技術，如何對其進行長期深入學習
  

總結

以上是生活随笔為你收集整理的【星球知识卡片】模型量化的核心技术点有哪些，如何对其进行长期深入学习...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。