【视频课】模型部署课程更新！ncnn框架快速实践！
前言
歡迎大家關(guān)注有三AI的視頻課程系列，我們的視頻課程系列共分為5層境界，內(nèi)容和學(xué)習(xí)路線圖如下：
第1層：掌握學(xué)習(xí)算法必要的預(yù)備知識，包括Python編程，深度學(xué)習(xí)基礎(chǔ)，數(shù)據(jù)使用，框架使用。
第2層：掌握CV算法最底層的能力，包括模型設(shè)計(jì)基礎(chǔ)，圖像分類。
第3層：掌握CV算法最核心的方向，包括圖像分割，目標(biāo)檢測，圖像生成，目標(biāo)跟蹤。
第4層：掌握CV算法最核心的應(yīng)用，包括人臉圖像，圖像質(zhì)量，視頻分析，圖像編輯。
第5層：掌握算法落地的關(guān)鍵技術(shù)，包括模型優(yōu)化，模型部署。
其中部分課程的主體內(nèi)容已經(jīng)更新完畢，比如數(shù)據(jù)使用/圖像分類/圖像分割/目標(biāo)檢測/圖像生成/視頻分類/模型部署；部分課程正在重制更新中，比如模型優(yōu)化，部分課程正在計(jì)劃上線中，比如圖像編輯，請大家及時(shí)關(guān)注！
本次給大家介紹的課程內(nèi)容是《深度學(xué)習(xí)之模型部署》中的部分內(nèi)容，即NCNN模型部署，目標(biāo)是幫助大家掌握NCNN工具的基本使用。
為什么要學(xué)習(xí)這門課
在深度學(xué)習(xí)模型的落地場景中，嵌入式平臺占比非常大，諸如手機(jī)等各類移動(dòng)端設(shè)備，車載設(shè)備。嵌入式系統(tǒng)的應(yīng)用場合大多對可靠性、實(shí)時(shí)性有較高要求，因此我們進(jìn)行模型部署的時(shí)候，需要有更加輕量級的部署工具。
當(dāng)前模型部署工具非常多，包括NCNN，MNN，Tengine等，我們前面已經(jīng)介紹過MNN與Tegnine，本次我們介紹的是NCNN，這是由騰訊優(yōu)圖實(shí)驗(yàn)室推出的為手機(jī)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架。
NCNN支持主流的平臺和常見的視覺任務(wù)，涵蓋了模型的加載解析，格式轉(zhuǎn)換，在多種架構(gòu)的芯片上高效運(yùn)行，具有以下特點(diǎn)：
支持卷積神經(jīng)網(wǎng)絡(luò)，支持多輸入和多分支結(jié)構(gòu)，可計(jì)算部分分支
無任何第三方庫依賴，不依賴 BLAS/NNPACK 等計(jì)算框架
純 C++ 實(shí)現(xiàn)，跨平臺，支持 android ios 等
ARM NEON 匯編級良心優(yōu)化，計(jì)算速度極快
精細(xì)的內(nèi)存管理和數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)，內(nèi)存占用極低
支持多核并行計(jì)算加速，ARM big.LITTLE cpu 調(diào)度優(yōu)化
支持基于全新低消耗的 vulkan api GPU 加速
可擴(kuò)展的模型設(shè)計(jì)，支持 8bit 量化和半精度浮點(diǎn)存儲(chǔ)
支持caffe/pytorch/mxnet/onnx/darknet/keras/tensorflow(mlir)模型
支持直接內(nèi)存零拷貝引用加載網(wǎng)絡(luò)模型
可注冊自定義層實(shí)現(xiàn)并擴(kuò)展
本次課程，我們就介紹NCNN的基本使用。
課程內(nèi)容介紹
本課程內(nèi)容包括NCNN框架介紹和模型部署，并附帶完整的工程代碼：
(1)?NCNN框架介紹。介紹的內(nèi)容主要包括NCNN框架特點(diǎn)，環(huán)境配置。
(2)?Tengine模型部署。介紹的內(nèi)容主要包括模型格式轉(zhuǎn)換，NCNN推理案例實(shí)現(xiàn)與代碼解析。
《深度學(xué)習(xí)之模型部署》的其他課程內(nèi)容還包括：
(1) 模型部署基礎(chǔ)。講解模型部署的流程與常見的方式，約10分鐘，本小節(jié)內(nèi)容可以免費(fèi)收聽。
(2)?Tengine嵌入式平臺部署。Tengine涵蓋了模型的加載解析，格式轉(zhuǎn)換，計(jì)算圖的調(diào)度和優(yōu)化，在多種架構(gòu)的芯片上高效運(yùn)行，具有通用，開放，高性能等特點(diǎn)，本部分課程講解Tengine框架介紹和模型部署，并附帶完整的工程代碼，約40分鐘。
(3) 微信小程序部署。部署到線上現(xiàn)在最輕便且最方便傳播的當(dāng)屬微信小程序了，微信小程序依托于微信，不需要下載安裝即可使用，本課程內(nèi)容包括微信小程序部署服務(wù)端開發(fā)與前端開發(fā)的內(nèi)容，并附帶完整的工程代碼，約70分鐘。
(4) TensorRT模型優(yōu)化與部署，TensorRT是一個(gè)高性能的深度學(xué)習(xí)推理（Inference）優(yōu)化器，可以為深度學(xué)習(xí)應(yīng)用提供低延遲、高吞吐率的部署推理。本部分課程內(nèi)容主要包含Tensorrt入門、環(huán)境配置與安裝、Python/C++接口網(wǎng)絡(luò)加速實(shí)戰(zhàn)等，約90分鐘。
(5) Android部署，介紹MNN框架的編譯安裝，模型轉(zhuǎn)化與量化加速、手機(jī)端部署實(shí)例3個(gè)部分，約60分鐘。
完整的課程內(nèi)容可見腦圖：
本課程講師為言有三，講師簡介如下：
言有三
龍鵬，筆名言有三，技術(shù)社區(qū)《有三AI》創(chuàng)始人。先后就讀于華中科技大學(xué)(2008-2012)，中國科學(xué)院半導(dǎo)體研究所神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室(2012-2015)，先后就職于奇虎360人工智能研究院(2015.7-2017.5)，陌陌科技深度學(xué)習(xí)實(shí)驗(yàn)室(2017.5-2019.3)，深度學(xué)習(xí)算法專家，阿里云MVP，華為云MVP。
擁有超過7年的計(jì)算機(jī)視覺從業(yè)經(jīng)驗(yàn)，擁有豐富的傳統(tǒng)圖像算法和深度學(xué)習(xí)計(jì)算機(jī)視覺項(xiàng)目經(jīng)驗(yàn)，著有書籍《深度學(xué)習(xí)之圖像識別：核心技術(shù)與案例實(shí)戰(zhàn)》(機(jī)械工業(yè)出版社2019.4)，《深度學(xué)習(xí)之模型設(shè)計(jì)：核心算法與案例實(shí)踐》(電子工業(yè)出版社2020.6)，《深度學(xué)習(xí)之人臉圖像處理：核心算法與案例實(shí)戰(zhàn)》(機(jī)械工業(yè)出版社2020.7)，《深度學(xué)習(xí)之?dāng)z影圖像處理：核心算法與案例精粹》(人民郵電出版社2021.4)，擁有10余項(xiàng)發(fā)明技術(shù)專利與學(xué)術(shù)論文。
擅長領(lǐng)域：Caffe，Tensorflow，Pytorch等主流深度學(xué)習(xí)平臺。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)理論，深度學(xué)習(xí)模型設(shè)計(jì)與優(yōu)化，計(jì)算機(jī)視覺的基礎(chǔ)領(lǐng)域，AI美學(xué)，2D與3D人臉?biāo)惴?#xff0c;生成對抗網(wǎng)絡(luò)GAN等領(lǐng)域。
本課程特色與適合人群
本課程是模型部署課程的其中一部分，屬于有三AI整個(gè)課程體系中的高階課程，對大家的能力有一些要求，包括：
(1) 掌握深度學(xué)習(xí)模型訓(xùn)練與推理能力。包括Pytorch/Tensorflow/Caffe，CNN模型設(shè)計(jì)，CV基礎(chǔ)方向。
(2) 熟練使用Linux，Python與C++編程語言。
本課程適合人群：
(1)?所有學(xué)習(xí)人工智能/深度學(xué)習(xí)算法，并有志于從事該領(lǐng)域的人員。
(2) 從事深度學(xué)習(xí)模型技術(shù)應(yīng)用落地的技術(shù)人員。
(3) 對模型的部署落地感興趣，希望增加自己項(xiàng)目經(jīng)驗(yàn)的技術(shù)人員。
如何獲取課程
訂閱本課程的方法有兩個(gè)：
其一：訂閱有三AI-CV秋季劃模型優(yōu)化組，可以獲得深度學(xué)習(xí)模型設(shè)計(jì)與優(yōu)化相關(guān)的所有內(nèi)容，模型優(yōu)化組季劃介紹如下：
有三AI計(jì)算機(jī)視覺學(xué)習(xí)季劃
有三AI季劃是我們推出的終身計(jì)算機(jī)視覺培養(yǎng)計(jì)劃，有三作為主要導(dǎo)師直接帶領(lǐng)，囊括答疑，微信群交流，線下活動(dòng)，多本自寫的書籍，圖文課件與代碼，直播與直播，知識星球社區(qū)，內(nèi)容組與研發(fā)組權(quán)限，了解詳細(xì)請閱讀以下文章：
【CV秋季劃】模型優(yōu)化很重要，如何循序漸進(jìn)地學(xué)習(xí)好？
其二：單獨(dú)訂閱《深度學(xué)習(xí)之模型部署》視頻專欄，本專欄定價(jià)為399，聚焦于深度學(xué)習(xí)模型部署落地相關(guān)內(nèi)容，包括但不限于安卓移動(dòng)端部署(基于MNN)，微信小程序部署(基于Pytorch，Flask等)，服務(wù)端部署(基于TensorRT，ONNX)，嵌入式平臺部署(基于Tengine等)，通用模型部署(基于NCNN)，最新如下：
【視頻課】一課掌握常見深度學(xué)習(xí)模型部署平臺與框架(從Android到小程序，MNN到TensortRT)！
該專欄課程的完整目錄如下：
往期相關(guān)
【視頻課】超全深度學(xué)習(xí)路線圖，有三AI所有免費(fèi)與付費(fèi)的視頻課程內(nèi)容匯總！
總結(jié)
以上是生活随笔為你收集整理的【视频课】模型部署课程更新！ncnn框架快速实践！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【GPU推荐】高性价比GPU平台，309
- 下一篇： 【视频课】先搞懂你用的模型，深度学习模型