【项目实战课】基于ncnn框架与KL散度的8bit对称模型量化与推理实战
歡迎大家來到我們的項目實戰課，本期內容是《基于ncnn框架與KL散度的8bit對稱模型量化與推理實戰》。
所謂項目實戰課，就是以簡單的原理回顧+詳細的項目實戰的模式，針對具體的某一個主題，進行代碼級的實戰講解，可以采用直播或者錄制視頻的形式。與我們其他的系統性理論+實戰的視頻課專欄相比，每一次項目實戰都由獨立的老師完成，課程更加專注、時長更短、更輕量級，適合快速鍛煉項目能力。
本次課程內容
模型優化是模型能夠在各類嵌入式平臺使用的關鍵技術，包括緊湊模型設計，模型剪枝，模型量化，模型蒸餾，自動化模型設計等內容。
其中8bit模型量化是最為常見的訓練后模型優化步驟，也是在Tensorflow等訓練框架，TensorRT，NCNN等推理框架中非常成熟的模塊。
在8bit模型量化中，NVIDIA提出的基于KL散度的對稱8bit量化方案是主流的方案。
為了加深對該方法的理解，本次開設了基于ncnn框架和KL散度的8bit模型量化與推理實戰，詳解其原理與實現，本次課程經過剪輯后的總時長約為130分鐘，各部分課程內容與時長如下：
部分 | 內容 | 時長(分鐘) |
第1節 | 基于KL散度的8bit量化原理 | 22 |
第2節 | 量化校準表生成 | 36 |
第3節 | ncnn框架簡介 | 14 |
第4節 | ncnn模型轉換 | 10 |
第5節 | ncnn模型量化與推理 | 45 |
下面我們來簡單看一下各部分的內容：
第1部分：基于KL散度的8bit量化原理，介紹該8bit量化方案的技術原理，本部分內容可以免費收聽。
第2部分：量化校準表生成，詳細解讀基于Python的量化校準表生成代碼細節。
第3部分：ncnn框架簡介，包括ncnn框架的特性，編譯與安裝，本部分內容可以免費收聽。
第4部分：ncnn框架模型轉換，將Caffe，MxNet，DarkNet，ONNX等框架的模型，轉化為ncnn框架格式的模型，包括*.param+*.bin兩個文件。如caffe.param，caffe.bin表示從Caffe訓練用的prototxt和caffemodel轉換后的結果，其他框架類同。
第5部分：講解如何使用ncnn生成量化校準表，進行模型量化，C++推理，并比較量化前后模型的大小和推理結果。
下圖展示了量化前后模型的大小以及推理結果對比：
可以看出8位量化后權重caffe_int8.bin只有量化前32位float型caffe.bin文件大小的1/4。從推理結果來看，同一幅圖的量化前與量化后模型雖然預測概率略有差別，但是仍然可以獲得正確的推理結果，說明量化有精度損失，但是不影響功能正確。
本次課程為錄播課程，講師為言有三，技術社區《有三AI》創始人。
先后就讀于華中科技大學(2008-2012)，中國科學院半導體研究所神經網絡實驗室(2012-2015)，先后就職于奇虎360人工智能研究院(2015.7-2017.5)，陌陌科技深度學習實驗室(2017.5-2019.3)，深度學習算法專家，阿里云MVP，華為云MVP。
擁有超過7年的計算機視覺從業經驗，擁有豐富的傳統圖像算法和深度學習計算機視覺項目經驗，著有書籍《深度學習之圖像識別：核心技術與案例實戰》(機械工業出版社2019.4)，《深度學習之模型設計：核心算法與案例實踐》(電子工業出版社2020.6)，《深度學習之人臉圖像處理：核心算法與案例實戰》(機械工業出版社2020.7)，《深度學習之攝影圖像處理：核心算法與案例精粹》(人民郵電出版社2021.4)，擁有10余項發明技術專利與學術論文。
如何訂閱
我們的視頻課全部在小鵝通平臺，可以使用手機APP鵝學習或者直接在網頁進行登錄，內容試聽以及訂閱請直接掃如下二維碼：
課程詳情如下：
課程相關問題答疑，請聯系有三微信Longlongtogo進項目實戰群：
更多模型優化與部署相關的內容，請點擊關注我們的模型優化與模型部署專欄。
【視頻課】一次性徹底掌握深度學習模型分析+設計+優化+部署4重境界！
【視頻課】快速掌握5大模型部署框架(NCNN+MNN+Tengine+TensortRT+微信小程序)！
實戰課講師招募
為了進一步豐富有三AI生態的實戰內容，歡迎有經驗，有能力的講師報名成為平臺講師：
講師要求如下：
(1) 有多次人工智能領域教學經驗，擅長演講與教學。
(2) 有3年以上人工智能領域項目實戰經驗。
(3) 有三AI已有生態成員優先。
實戰課的收入與平臺采取固定分成的方式，具體細節可在內容組了解詳情，報名請聯系微信Alice-girll提交簡歷，或直接聯系有三本人。
往期相關
【視頻課】有三AI所有免費與付費的視頻課程內容匯總（2022年1月）
總結
以上是生活随笔為你收集整理的【项目实战课】基于ncnn框架与KL散度的8bit对称模型量化与推理实战的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【项目实战课】基于Pytorch的3DC
- 下一篇： 【项目实战课】快速上手目标检测任务，MM