前言

好的模型結(jié)構(gòu)是深度學(xué)習(xí)成功的關(guān)鍵因素之一，不僅是非常重要的學(xué)術(shù)研究方向，在工業(yè)界實(shí)踐中也是模型是否能上線的關(guān)鍵。對(duì)各類(lèi)底層深度學(xué)習(xí)模型設(shè)計(jì)和優(yōu)化技術(shù)理解的深度是決定我們能否在深度學(xué)習(xí)項(xiàng)目中游刃有余的關(guān)鍵，模型壓縮與優(yōu)化是專(zhuān)門(mén)針對(duì)模型進(jìn)行精簡(jiǎn)的技術(shù)，這是模型能夠在各類(lèi)嵌入式平臺(tái)使用的關(guān)鍵技術(shù)，包括緊湊模型設(shè)計(jì)，模型剪枝，模型量化，模型蒸餾，自動(dòng)化模型設(shè)計(jì)等內(nèi)容。

當(dāng)前許多成熟的框架都支持進(jìn)行模型的壓縮優(yōu)化，比如Tensorflow、TensorRT，內(nèi)置了經(jīng)典的模型壓縮優(yōu)化方法。

為了幫助大家系統(tǒng)性地學(xué)習(xí)深度學(xué)習(xí)模型優(yōu)化的相關(guān)內(nèi)容，我們推出了《深度學(xué)習(xí)之模型優(yōu)化》系列課程，目前已完成約7個(gè)小時(shí)的理論課+4個(gè)小時(shí)的實(shí)踐課（還在更新中），可以參考介紹：

【視頻課】超10小時(shí)模型優(yōu)化技術(shù)，模型剪枝+模型量化+知識(shí)蒸餾理論與實(shí)踐！

但是因?yàn)樵蹅冇行W(xué)習(xí)者只對(duì)其中的某一項(xiàng)技術(shù)感興趣，比如模型剪枝或者模型量化，畢竟完整的模型優(yōu)化相關(guān)的內(nèi)容非常多，隨著后面內(nèi)容繼續(xù)更新，想要完全消化吸收也是很有難度的。

因此，應(yīng)咱們一些朋友的要求，我們將《深度學(xué)習(xí)之模型剪枝》與《深度學(xué)習(xí)之模型量化》的內(nèi)容單獨(dú)從優(yōu)化專(zhuān)欄中拆分出來(lái)，下面我們分別對(duì)這兩部分做一個(gè)介紹。

模型剪枝專(zhuān)欄

模型剪枝課程專(zhuān)欄內(nèi)容包括模型剪枝的經(jīng)典算法理論與實(shí)踐，目前一期已經(jīng)基本更新完畢，約4個(gè)小時(shí)，涵蓋了模型剪枝基礎(chǔ)，非結(jié)構(gòu)化模型剪枝，結(jié)構(gòu)化模型剪枝，以及相關(guān)的實(shí)踐，下面是各部分的簡(jiǎn)單介紹。

(1) 模型剪枝基礎(chǔ)，包括模型剪枝的基本概念，模型的冗余性分析，約25分鐘【本部分內(nèi)容可以免費(fèi)收聽(tīng)】。

(2) 非結(jié)構(gòu)化模型剪枝（基礎(chǔ)篇），包括基于幅度的連接權(quán)重剪枝框架及其改進(jìn)，約25分鐘【本部分內(nèi)容可以免費(fèi)收聽(tīng)】。

(3) 結(jié)構(gòu)化模型剪枝，包括幅度篇、稀疏權(quán)重篇、稀疏因子篇、重建篇，詳細(xì)介紹了當(dāng)前各種主流的結(jié)構(gòu)化模型剪枝技術(shù)，一共約110分鐘。

(4) 結(jié)構(gòu)化模型剪枝實(shí)踐，包括基準(zhǔn)模型訓(xùn)練以及基于稀疏約束與縮放因子的結(jié)構(gòu)化剪枝實(shí)踐，約60分鐘。

課程試聽(tīng)以及訂閱，后續(xù)內(nèi)容的更新，請(qǐng)掃碼下面的海報(bào)，查看詳細(xì)目錄：

模型量化專(zhuān)欄

模型量化課程專(zhuān)欄內(nèi)容包括模型量化的經(jīng)典算法理論與實(shí)踐，目前一期已經(jīng)基本更新完畢，約4個(gè)小時(shí)，涵蓋了模型量化基礎(chǔ)，1bit模型量化，8bit模型量化，混合量化，以及相關(guān)的實(shí)踐，下面是各部分的簡(jiǎn)單介紹。

下圖是已有課程的大綱腦圖：

下面簡(jiǎn)單了解一下各部分的內(nèi)容：

(1) 模型量化基礎(chǔ)，介紹模型量化方法的分類(lèi)，模型量化的優(yōu)勢(shì)，約20分鐘，本部分內(nèi)容可以免費(fèi)收聽(tīng)。

(2)?2值模型量化，包括基礎(chǔ)篇、重建篇，詳細(xì)介紹了當(dāng)前主流的2值網(wǎng)絡(luò)，約50分鐘。

(3) 8bit模型量化，介紹的內(nèi)容包括基于KL散度的對(duì)稱(chēng)量化、非對(duì)稱(chēng)的訓(xùn)練時(shí)與訓(xùn)練后量化框架，時(shí)長(zhǎng)約45分鐘。

(4) 混合模型量化，介紹了基于不同位寬的激活值、權(quán)重值、梯度值的量化訓(xùn)練框架，約30分鐘。

(5) 8bit模型量化實(shí)踐，包括校準(zhǔn)表生成與模型量化，ncnn模型推理，約90分鐘。

課程試聽(tīng)以及訂閱，后續(xù)內(nèi)容的更新，請(qǐng)掃碼下面的海報(bào)，查看詳細(xì)目錄：

課程

當(dāng)前這兩門(mén)課程的定價(jià)為149，周一恢復(fù)價(jià)格為199，請(qǐng)及時(shí)訂閱。

本課程講師為言有三，講師簡(jiǎn)介如下：

龍鵬，筆名言有三，技術(shù)社區(qū)《有三AI》創(chuàng)始人。先后就讀于華中科技大學(xué)(2008-2012)，中國(guó)科學(xué)院半導(dǎo)體研究所神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室(2012-2015)，先后就職于奇虎360人工智能研究院(2015.7-2017.5)，陌陌科技深度學(xué)習(xí)實(shí)驗(yàn)室(2017.5-2019.3)，深度學(xué)習(xí)算法專(zhuān)家，阿里云MVP，華為云MVP。

擁有超過(guò)7年的計(jì)算機(jī)視覺(jué)從業(yè)經(jīng)驗(yàn)，擁有豐富的傳統(tǒng)圖像算法和深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)項(xiàng)目經(jīng)驗(yàn)，著有書(shū)籍《深度學(xué)習(xí)之圖像識(shí)別：核心技術(shù)與案例實(shí)戰(zhàn)》(機(jī)械工業(yè)出版社2019.4)，《深度學(xué)習(xí)之模型設(shè)計(jì)：核心算法與案例實(shí)踐》(電子工業(yè)出版社2020.6)，《深度學(xué)習(xí)之人臉圖像處理：核心算法與案例實(shí)戰(zhàn)》(機(jī)械工業(yè)出版社2020.7)，《深度學(xué)習(xí)之?dāng)z影圖像處理：核心算法與案例精粹》(人民郵電出版社2021.4)，擁有10余項(xiàng)發(fā)明技術(shù)專(zhuān)利與學(xué)術(shù)論文。

擅長(zhǎng)領(lǐng)域：Caffe，Tensorflow，Pytorch等主流深度學(xué)習(xí)平臺(tái)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)理論，深度學(xué)習(xí)模型設(shè)計(jì)與優(yōu)化，計(jì)算機(jī)視覺(jué)的基礎(chǔ)領(lǐng)域，AI美學(xué)，2D與3D人臉?biāo)惴?#xff0c;生成對(duì)抗網(wǎng)絡(luò)GAN等領(lǐng)域。

本課程是模型優(yōu)化課程的其中一部分，屬于有三AI整個(gè)課程體系中的高階課程，需要大家已經(jīng)能夠熟練使用深度學(xué)習(xí)框架與基礎(chǔ)模型，建議與另外3門(mén)課程配合使用，包括《深度學(xué)習(xí)之模型分析》，《深度學(xué)習(xí)之模型設(shè)計(jì)》，《深度學(xué)習(xí)之模型部署》，詳細(xì)介紹請(qǐng)查看：

【視頻課】快速掌握5大模型部署框架(NCNN+MNN+Tengine+TensortRT+微信小程序)！

【視頻課】先搞懂你用的模型，深度學(xué)習(xí)模型分析課程來(lái)了！

【視頻課】超30個(gè)小時(shí)模型設(shè)計(jì)理論，4大Pytorch案例實(shí)戰(zhàn)與安卓部署，長(zhǎng)期更新中

如果想要一次性獲取有三AI平臺(tái)所有模型相關(guān)的課，建議直接加入有三AI-CV秋季劃模型算法組，不僅有課程，還有有三的一對(duì)一答疑，書(shū)籍贈(zèng)送以及知識(shí)星球贈(zèng)送，可參考介紹如下：

【CV秋季劃】模型算法與落地很重要，如何循序漸進(jìn)地學(xué)習(xí)好（2022年言有三一對(duì)一輔導(dǎo)）？

往期相關(guān)

• 【視頻課】超全深度學(xué)習(xí)路線圖，有三AI所有免費(fèi)與付費(fèi)的視頻課程內(nèi)容匯總！
  

總結(jié)

以上是生活随笔為你收集整理的【视频课】模型优化拆分！分别学习模型剪枝与模型量化理论与实践的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。