前言

歡迎大家關注有三AI的視頻課程系列，我們的視頻課程系列共分為5層境界，內容和學習路線圖如下：

第1層：掌握學習算法必要的預備知識，包括Python編程，深度學習基礎，數據使用，框架使用。

第2層：掌握CV算法最底層的能力，包括模型設計基礎，圖像分類，模型分析。

第3層：掌握CV算法最核心的方向，包括圖像分割，目標檢測，圖像生成，目標跟蹤。

第4層：掌握CV算法最核心的應用，包括人臉圖像，圖像質量，視頻分析，圖像編輯。

第5層：掌握算法落地的關鍵技術，包括模型優化，模型部署。

其中部分課程的主體內容已經更新完畢，比如數據使用/模型分析/圖像分類/圖像分割/目標檢測/圖像生成/視頻分類/模型部署；部分課程正在重制更新中，比如模型優化；部分課程正在計劃上線中，比如圖像編輯，請大家及時關注！

最新的完整介紹如下：【視頻課】超全深度學習路線圖，有三AI所有免費與付費的視頻課程內容匯總！

本次給大家介紹的課程內容是《深度學習之模型優化：理論實踐篇》，目標是幫助大家掌握深度學習模型優化的核心內容。

為什么要學習這門課

好的模型結構是深度學習成功的關鍵因素之一，不僅是非常重要的學術研究方向，在工業界實踐中也是模型是否能上線的關鍵。對各類底層深度學習模型設計和優化技術理解的深度是決定我們能否在深度學習項目中游刃有余的關鍵，模型壓縮與優化是專門針對模型進行精簡的技術，這是模型能夠在各類嵌入式平臺使用的關鍵技術，包括緊湊模型設計，模型剪枝，模型量化，模型蒸餾，自動化模型設計等內容。

當前許多成熟的框架都支持進行模型的壓縮優化，比如Tensorflow、TensorRT，內置了經典的模型壓縮優化方法。

為了幫助大家系統性地學習深度學習模型優化的相關內容，我們推出了《深度學習之模型優化》系列課程，目前已完成約7個小時的理論課課程+3個小時的實踐課（還在更新中）。

子欲學深度學習，模型優化是必學進階內容！我們這一門課期望幫大家徹底搞定模型優化的學習問題！下面請聽課程的詳細介紹！

課程內容介紹

本課程內容將包括模型優化壓縮的經典算法理論與實踐，本次我們介紹的是實踐部分內容（基于Pytorch框架），包括模型剪枝、模型量化、知識蒸餾；

下圖是本次課程的實踐部分大綱腦圖：

下面簡單了解一下各部分實踐的內容：

(1) 結構化模型剪枝實踐，包括基準模型訓練以及基于稀疏約束與縮放因子的結構化剪枝實踐，約60分鐘。

(2) 8bit模型量化實踐，包括校準表生成與模型量化，ncnn模型推理，約50分鐘。

(3) 模型蒸餾實踐，包括模型訓練與蒸餾，一共約30分鐘。

(4) Distiller模型壓縮框架，介紹整體架構，模型剪枝與模型量化的功能模塊，約40分鐘。

另外該課程還有已經完成的超過7個小時理論部分的內容，介紹如下：

(1) 模型剪枝基礎，包括模型剪枝的基本概念，模型的冗余性分析，約25分鐘，本部分內容可以免費收聽。

(2) 非結構化模型剪枝（基礎篇），包括基于幅度的連接權重剪枝框架及其改進，約25分鐘，本部分內容可以免費收聽。

(3) 結構化模型剪枝，包括幅度篇、稀疏權重篇、稀疏因子篇、重建篇，詳細介紹了當前各種主流的結構化模型剪枝技術，一共約110分鐘。

(4) 模型量化基礎，介紹模型量化方法的分類，模型量化的優勢，約20分鐘，本部分內容可以免費收聽。

(5)?2值模型量化，包括基礎篇、重建篇，詳細介紹了當前主流的2值網絡，約50分鐘。

(6) 8bit模型量化，介紹的內容包括基于KL散度的對稱量化、非對稱的訓練時與訓練后量化框架，時長約45分鐘。

(7) 混合模型量化，介紹了基于不同位寬的激活值、權重值、梯度值的量化訓練框架，約30分鐘。

(8) 知識蒸餾基礎，包括知識蒸餾的概念與遷移學習基礎，約25分鐘，本部分內容可以免費收聽。

(9)?知識蒸餾框架，包括基于特征匹配與基于優化目標驅動的框架，時長約50分鐘。

除此之外，還有超過2個小時的早期的實踐直播內容回放，總體課程長度超過13個小時，后續還會繼續更新！

本課程講師為言有三，講師簡介如下：

龍鵬，筆名言有三，技術社區《有三AI》創始人。先后就讀于華中科技大學(2008-2012)，中國科學院半導體研究所神經網絡實驗室(2012-2015)，先后就職于奇虎360人工智能研究院(2015.7-2017.5)，陌陌科技深度學習實驗室(2017.5-2019.3)，深度學習算法專家，阿里云MVP，華為云MVP。

擁有超過7年的計算機視覺從業經驗，擁有豐富的傳統圖像算法和深度學習計算機視覺項目經驗，著有書籍《深度學習之圖像識別：核心技術與案例實戰》(機械工業出版社2019.4)，《深度學習之模型設計：核心算法與案例實踐》(電子工業出版社2020.6)，《深度學習之人臉圖像處理：核心算法與案例實戰》(機械工業出版社2020.7)，《深度學習之攝影圖像處理：核心算法與案例精粹》(人民郵電出版社2021.4)，擁有10余項發明技術專利與學術論文。

擅長領域：Caffe，Tensorflow，Pytorch等主流深度學習平臺。神經網絡與深度學習理論，深度學習模型設計與優化，計算機視覺的基礎領域，AI美學，2D與3D人臉算法，生成對抗網絡GAN等領域。

本課程是模型優化課程的其中一部分，屬于有三AI整個課程體系中的高階課程，需要大家已經能夠熟練使用深度學習框架與基礎模型，建議與另外3門課程配合享用，包括《深度學習之模型分析》，《深度學習之模型設計》，《深度學習之模型部署》，詳細介紹請查看：

【視頻課】快速掌握5大模型部署框架(NCNN+MNN+Tengine+TensortRT+微信小程序)！

【視頻課】先搞懂你用的模型，深度學習模型分析課程來了！

【視頻課】超30個小時模型設計理論，4大Pytorch案例實戰與安卓部署，長期更新中

如何獲取課程

訂閱《深度學習之模型優化》專欄，本專欄暫時定價為399，后續隨著內容增加還會調整價格，感興趣的請提前訂閱，鏈接如下：

已有的課程目錄如下：

往期相關

• 【視頻課】超全深度學習路線圖，有三AI所有免費與付費的視頻課程內容匯總！
  

總結

以上是生活随笔為你收集整理的【视频课】模型剪枝+模型量化+知识蒸馏典型实践！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。