眾所周知，深度神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用在圖像分類、物體檢測，目標(biāo)跟蹤等計算機(jī)視覺任務(wù)中，并取得了巨大成功。

隨著不同場景的需求變得更加多樣，越來越多的IoT設(shè)備和場景需要與數(shù)據(jù)采集點(diǎn)以最接近的低時延來進(jìn)行決策和操作；另外IoT物聯(lián)設(shè)備生成的數(shù)據(jù)量通常很大，由于運(yùn)營成本、時間和隱私方面的考慮，移動和存儲所有生成的數(shù)據(jù)不太可行。

AI技術(shù)的一個趨勢是在設(shè)備端上部署高性能的神經(jīng)網(wǎng)絡(luò)模型，并在真實(shí)場景中實(shí)時運(yùn)行。如移動端/嵌入式設(shè)備，這些設(shè)備的特點(diǎn)是內(nèi)存資源少，處理器性能不高，功耗受限，這使得目前精度最高的模型根本無法在這些設(shè)備進(jìn)行部署和達(dá)到實(shí)時運(yùn)行。

存儲空間和算力資源的限制，使得神經(jīng)網(wǎng)絡(luò)模型在移動設(shè)備和嵌入式設(shè)備上的存儲與計算仍然具有巨大的挑戰(zhàn)。

邊緣深度學(xué)習(xí)：設(shè)備端推理技術(shù)

如果我們對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特殊處理，而幾乎不怎么影響模型的推理計算精度，則使得設(shè)備端的推理變?yōu)榭赡堋?/p>

事實(shí)上，目前已經(jīng)有較為成功的設(shè)備端推理技術(shù)，來實(shí)現(xiàn)邊緣智能。一些技術(shù)已經(jīng)在各種各樣的芯片和嵌入式設(shè)備上應(yīng)用并產(chǎn)生巨大經(jīng)濟(jì)價值。

神經(jīng)網(wǎng)絡(luò)剪枝

?深度壓縮

數(shù)據(jù)量化

低秩估計

*以上為常用的幾個端設(shè)備推理算法技術(shù)

邊緣AI技術(shù)到底有多火爆

IDC公司預(yù)測，到2025年，物聯(lián)網(wǎng)設(shè)備數(shù)量預(yù)計將超過560億臺。MarketsandMarkets則表示，2020年全球邊緣計算市場規(guī)模約為36億美元。

預(yù)計到2025年將增長到157億美元，復(fù)合年增長率達(dá)到驚人的34.1%。

在邊緣的用例以及對經(jīng)濟(jì)的影響將變得巨大。EdgeAI可用于監(jiān)視和監(jiān)控目標(biāo)、自動駕駛車輛、智能揚(yáng)聲器和工業(yè)物聯(lián)網(wǎng)。而像新冠肺炎等流行病則加速了邊緣計算的應(yīng)用。

麥肯錫預(yù)測，到2025年，僅涉及物聯(lián)網(wǎng)(IoT)應(yīng)用的用例所產(chǎn)生的經(jīng)濟(jì)價值將在每年3.9萬億美元至11.1萬億美元之間。

目前招聘平臺上，關(guān)于邊緣AI算法人才的需求，也是非常火爆，非常多的大廠都在瘋狂攬人，其招聘崗位數(shù)量和薪資甚至不遜于NLP算法工程師。

為了全面系統(tǒng)的培養(yǎng)高性能神經(jīng)網(wǎng)絡(luò)人才，貪心學(xué)院重磅推出《高性能神經(jīng)網(wǎng)絡(luò)與AI芯片應(yīng)用研修課程》，為想進(jìn)入邊緣AI行業(yè)的同學(xué)們提供一個可以大幅提升自身就業(yè)競爭力的選擇。

本課程會講解邊緣AI相關(guān)知識、高性能網(wǎng)絡(luò)設(shè)計、通用芯片及專用芯片計算加速方法等專業(yè)技能，并結(jié)合優(yōu)秀編譯器的架構(gòu)和實(shí)現(xiàn)細(xì)節(jié)的講解，為學(xué)生構(gòu)建高性能AI算法的軟硬件視角，能夠解決應(yīng)用落地時神經(jīng)網(wǎng)絡(luò)的優(yōu)化和部署相關(guān)問題。

面向全球優(yōu)秀AI青年限量申請

本計劃申請制，擇優(yōu)錄取，每月僅限20人；申請者提交簡歷通過審核后，可以進(jìn)入項(xiàng)目。

感興趣的請?zhí)砑幼稍冾檰?/strong>

01 適合人群

大學(xué)生

●?編程及深度學(xué)習(xí)基礎(chǔ)良好，為了想進(jìn)入邊緣AI行業(yè)發(fā)展

在職人士

●?想進(jìn)入邊緣AI行業(yè)的算法或IT工程師

●?想通過掌握硬件技術(shù)，拓寬未來職業(yè)路徑的AI算法工程師

入學(xué)基礎(chǔ)要求

●?掌握python、C++開發(fā)，及深度學(xué)習(xí)的基礎(chǔ)知識。

●?統(tǒng)招一本以上學(xué)歷；

●?算法在職工程師或想要在邊緣計算行業(yè)求職的同學(xué)；

●?計劃未來6-12個月內(nèi)挑戰(zhàn)高薪邊緣AI算法崗位；

02 你將收獲

●?掌握最前沿的邊緣AI算法技術(shù)，順利敲開邊緣AI行業(yè)求職大門；

●?掌握神經(jīng)網(wǎng)絡(luò)高性能實(shí)現(xiàn)的算法及工具；

●?掌握通用芯片及專用AI芯片架構(gòu)及網(wǎng)絡(luò)加速技術(shù)；

●?掌握通用芯片及專用AI芯片神經(jīng)網(wǎng)絡(luò)部署應(yīng)用的實(shí)際案例；

●?短期內(nèi)對邊緣AI技術(shù)有全面深入認(rèn)知，大大節(jié)省學(xué)習(xí)時間；

●?進(jìn)入邊緣AI算法圈子，認(rèn)識一群擁有同樣興趣的人。

03 內(nèi)容亮點(diǎn)

●?全面技術(shù)講解：課程涵蓋了輕量化神經(jīng)網(wǎng)絡(luò)設(shè)計、神經(jīng)網(wǎng)絡(luò)部署前的優(yōu)化方法、神經(jīng)網(wǎng)絡(luò)編譯器的設(shè)計模式和具體實(shí)現(xiàn)、神經(jīng)網(wǎng)絡(luò)部署到芯片上的計算加速等全面的AI嵌入式芯片設(shè)計和應(yīng)用相關(guān)人員就業(yè)必備的知識。

●?軟硬件相結(jié)合：本課程除了全面講解高性能神經(jīng)網(wǎng)絡(luò)相關(guān)的知識技術(shù)外，還會指導(dǎo)學(xué)員在硬件上進(jìn)行實(shí)操。課程使用EAIDK310和嘉楠勘智K210開發(fā)板作為教學(xué)材料。

●?專家導(dǎo)師授課：課程導(dǎo)師為AI芯片行業(yè)專家，相關(guān)項(xiàng)目經(jīng)驗(yàn)十分豐富。

感興趣的請?zhí)砑幼稍冾檰?/strong>

04 課程研發(fā)及導(dǎo)師團(tuán)隊(duì)

王歡

主講老師

肇觀科技算法總監(jiān)

華中科技大學(xué)模式識別與人工智能碩士

原拼多多、同盾科技等公司算法工程師，AI算法領(lǐng)域從業(yè)15+年

Jerry Yuan

課程研發(fā)顧問

美國微軟(總部)推薦系統(tǒng)部負(fù)責(zé)人

美國亞馬遜(總部)資深工程師

美國新澤西理工大學(xué)博士

14年人工智能, 數(shù)字圖像處理和推薦系統(tǒng)領(lǐng)域研究和項(xiàng)目經(jīng)驗(yàn)

先后在AI相關(guān)國際會議上發(fā)表20篇以上論文

李文哲

貪心科技CEO

美國南加州大學(xué)博士

曾任獨(dú)角獸金科集團(tuán)首席數(shù)據(jù)科學(xué)家、美國亞馬遜和高盛的高級工程師

金融行業(yè)開創(chuàng)知識圖譜做大數(shù)據(jù)反欺詐的第一人

先后在AAAI、KDD、AISTATS、CHI等國際會議上發(fā)表過15篇以上論文

韓老師

助教老師

浙江大學(xué)博士

曾在阿里巴巴浙江大學(xué)前沿技術(shù)研究中心做視覺算法實(shí)習(xí)

曾多次獲得數(shù)字系統(tǒng)設(shè)計大賽FPGA低功耗AI賽道、研究生創(chuàng)“芯”大賽等相關(guān)競賽獎項(xiàng)

05 授課方式

●?基礎(chǔ)知識講解

●?前沿論文解讀

●?論文代碼復(fù)現(xiàn)

●?該知識內(nèi)容的實(shí)際應(yīng)用

●?該知識的項(xiàng)目實(shí)戰(zhàn)

●?該方向的知識延伸及未來趨勢講解

06 項(xiàng)目介紹

項(xiàng)目1

項(xiàng)目名稱：模型輕量化

項(xiàng)目內(nèi)容描述：mobilenet、shufflenet、squeezenet等，模型量化、剪枝和蒸餾技術(shù)，網(wǎng)絡(luò)的計算量和內(nèi)存分析的工具，主干網(wǎng)絡(luò)的輕量化，檢測網(wǎng)絡(luò)的輕量化，分割網(wǎng)絡(luò)的輕量化，不同框架提供的加速方案。

項(xiàng)目使用的數(shù)據(jù)集：COCO，ADE20k，ImageNet

項(xiàng)目使用的算法：模型量化，模型剪枝和模型蒸餾

項(xiàng)目使用的工具：python，c/c++，pytorch，tensorflow，distiller，ncnn

項(xiàng)目預(yù)期結(jié)果：學(xué)員掌握輕量化網(wǎng)絡(luò)設(shè)計準(zhǔn)則，模型輕量化技術(shù)，能夠上手操作一 ?個網(wǎng)絡(luò)部署前的優(yōu)化。

項(xiàng)目對應(yīng)第幾周的課程：1~4周

項(xiàng)目2

項(xiàng)目名稱：神經(jīng)網(wǎng)絡(luò)編譯器

項(xiàng)目內(nèi)容描述：tvm，ncnn，mnn，tnn 各自的特點(diǎn)，對于神經(jīng)網(wǎng)絡(luò)的優(yōu)化方案，tvm的具體設(shè)備的優(yōu)化方案，算子融合，路徑優(yōu)化，內(nèi)存優(yōu)化，ncnn的網(wǎng)絡(luò)的表示數(shù)據(jù)結(jié)構(gòu)，ncnn的一些優(yōu)化計算的思路，量化方法，mnn中的數(shù)據(jù)結(jié)構(gòu)，模型轉(zhuǎn)換和量化方法，tnn和ncnn的區(qū)別，系統(tǒng)架構(gòu)，量化方法。

項(xiàng)目使用的算法：離線量化，在線感知量化

項(xiàng)目使用的工具：python，c/c++，tvm，ncnn，tnn，mnn

項(xiàng)目預(yù)期結(jié)果：學(xué)員對于神經(jīng)網(wǎng)絡(luò)編譯器有全面的了解，對于主流神經(jīng)網(wǎng)絡(luò)編譯器能夠?qū)嵺`使用，完成模型到芯片所需要格式的轉(zhuǎn)換。

項(xiàng)目對應(yīng)第幾周的課程：5~8周

項(xiàng)目3

項(xiàng)目名稱：通用芯片加速技術(shù)

項(xiàng)目內(nèi)容描述：cpu，arm對應(yīng)的指令集級別的加速，編譯器中具體的優(yōu)化策略，simd，avx，sse，openblas，neon和cpu中對于卷積的運(yùn)算加速方案，cpu上的具體實(shí)例，arm上的具體實(shí)例，環(huán)境配置，神經(jīng)網(wǎng)絡(luò)的例子，加速方案的組合和實(shí)際效果。

項(xiàng)目使用的算法：simd，avs，sse，blas，winograd

項(xiàng)目使用的工具：nnpack，qnnpack，lowpgemm，tvm，ncnn

項(xiàng)目預(yù)期結(jié)果：學(xué)員深入掌握cpu，arm等芯片的神經(jīng)網(wǎng)絡(luò)加速技術(shù)，并且通過一個例子來看具體的加速效果?。

項(xiàng)目對應(yīng)第幾周的課程：9~12周

項(xiàng)目4

項(xiàng)目名稱：專用芯片加速技術(shù)

項(xiàng)目內(nèi)容描述：gpu和k210 npu及各自神經(jīng)網(wǎng)絡(luò)編譯器中的加速優(yōu)化技術(shù)，gpu上的cuda加速的方法，cublas，opencl，vulkan的開發(fā)例子，nncase上編譯一個網(wǎng)絡(luò)，k210開發(fā)板環(huán)境配置及人臉檢測模型的部署

項(xiàng)目使用的算法：人臉檢測

項(xiàng)目使用的工具（編程語言、工具、技術(shù)等）：Python，C/C++，opencl，vulkan，nncase

項(xiàng)目預(yù)期結(jié)果：學(xué)員可以掌握gpu及npu上神經(jīng)網(wǎng)絡(luò)的編譯加速，并且通過一個具體的例子來完成人臉檢測模型在k210芯片上的部署?。

項(xiàng)目對應(yīng)第幾周的課程：13~16周

感興趣的請?zhí)砑幼稍冾檰?/strong>

07 詳細(xì)內(nèi)容介紹

第一周：輕量化網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

本節(jié)課將講解網(wǎng)絡(luò)參數(shù)量、浮點(diǎn)運(yùn)算數(shù)等模型評價指標(biāo)、工具，以及分類網(wǎng)絡(luò)， 檢測網(wǎng)絡(luò)，分割網(wǎng)絡(luò)的輕量化設(shè)計。

課程提綱：

●?輕量化網(wǎng)絡(luò)設(shè)計背景介紹

●?網(wǎng)絡(luò)的計算量和內(nèi)存分析工具

●?主干網(wǎng)絡(luò)的輕量化

●?檢測網(wǎng)絡(luò)的輕量化

●?分割網(wǎng)絡(luò)的輕量化

●?典型網(wǎng)絡(luò)的設(shè)計思路

第二周：知識蒸餾優(yōu)化、低秩分解優(yōu)化

本節(jié)課將講解神經(jīng)網(wǎng)絡(luò)知識蒸餾優(yōu)化、神經(jīng)網(wǎng)絡(luò)計算低秩分解加速計算方法。

課程提綱：

●?知識蒸餾方法介紹

●?知識蒸餾原理和步驟介紹

●?知識蒸餾訓(xùn)練方法縮減網(wǎng)絡(luò)的實(shí)際分類網(wǎng)絡(luò)演示

●?低秩分解原理

●?低秩分解加速計算在神經(jīng)網(wǎng)絡(luò)推理中的應(yīng)用

第三周：網(wǎng)絡(luò)剪枝

本節(jié)課將講解網(wǎng)絡(luò)稀疏性原理，網(wǎng)絡(luò)剪枝原則及剪枝的常見方法。

課程提綱：

●?網(wǎng)絡(luò)剪枝的原理

●?常用的剪枝策略

●?神經(jīng)網(wǎng)絡(luò)框架中的剪枝功能介紹

●?剪枝的實(shí)際使用

第四周：網(wǎng)絡(luò)量化

本節(jié)課將講解網(wǎng)絡(luò)的低比特化，以及在AI芯片中的計算，實(shí)現(xiàn)網(wǎng)絡(luò)量化的離線和在線感知的量化方法。

課程提綱：

●?網(wǎng)絡(luò)量化的技術(shù)發(fā)展

●?不同離線量化算法的實(shí)現(xiàn)原理

●?神經(jīng)網(wǎng)絡(luò)框架中在線感知量化算法的原理及實(shí)現(xiàn)

●?實(shí)際案例

第五周：神經(jīng)網(wǎng)絡(luò)編譯器簡介

本節(jié)課將講解tvm、ncnn、tnn、mnn的簡要對比，tvm relay和網(wǎng)絡(luò)轉(zhuǎn)換，網(wǎng)絡(luò)的編譯優(yōu)化和推理加速。

課程提綱：

●?tvm、ncnn、tnn、mnn的簡要對比

●?tvm relay和網(wǎng)絡(luò)轉(zhuǎn)換

●?網(wǎng)絡(luò)的編譯優(yōu)化和推理加速

●?tvm的實(shí)際案例

第六周：ncnn

本節(jié)課將講解ncnn的系統(tǒng)架構(gòu)圖，數(shù)據(jù)結(jié)構(gòu)，支持的框架，網(wǎng)絡(luò)的表示，網(wǎng)絡(luò)優(yōu)化，量化，以及各平臺的優(yōu)化策略。

課程提綱：

●?ncnn的系統(tǒng)架構(gòu)圖

●?ncnn的數(shù)據(jù)結(jié)構(gòu)及支持框架

●?ncnn的網(wǎng)絡(luò)表示

●?ncnn網(wǎng)絡(luò)優(yōu)化，量化，及各平臺的優(yōu)化策略

第七周：tnn

本節(jié)課將講解tnn的系統(tǒng)架構(gòu)圖，數(shù)據(jù)結(jié)構(gòu)，支持的框架，網(wǎng)絡(luò)的表示，網(wǎng)絡(luò)優(yōu)化，量化，以及各平臺的優(yōu)化策略。

課程提綱：

●?tnn的系統(tǒng)架構(gòu)圖

●?tnn的數(shù)據(jù)結(jié)構(gòu)及支持框架

●?tnn的網(wǎng)絡(luò)表示

●?tnn網(wǎng)絡(luò)優(yōu)化，量化，及各平臺的優(yōu)化策略

第八周：mnn

本節(jié)課將講解mnn的系統(tǒng)架構(gòu)圖，數(shù)據(jù)結(jié)構(gòu)，支持的框架，網(wǎng)絡(luò)的表示，網(wǎng)絡(luò)優(yōu)化，量化，以及各平臺的優(yōu)化策略。

課程提綱：

●?mnn的系統(tǒng)架構(gòu)圖

●?mnn的數(shù)據(jù)結(jié)構(gòu)及支持框架

●?mnn的網(wǎng)絡(luò)表示

●?mnn網(wǎng)絡(luò)優(yōu)化，量化，及各平臺的優(yōu)化策略

第九周：cpu中的指令集優(yōu)化

本節(jié)課將講解cpu中的指令集優(yōu)化，simd、avx、sse方法，及tvm中對于cpu上神經(jīng)網(wǎng)絡(luò)加速的位置。

課程提綱：

● cpu中的指令集優(yōu)化：simd，avx，sse方法

●?tvm中對于cpu上神經(jīng)網(wǎng)絡(luò)加速的位置

第十周：arm中的神經(jīng)網(wǎng)絡(luò)加速

本節(jié)課將講解arm中的neon優(yōu)化，及ncnn，tnn和mnn的實(shí)現(xiàn)，并結(jié)合實(shí)際例子來看具體的加速效果。

課程提綱：

●?arm中的neon優(yōu)化

●?ncnn，tnn和mnn實(shí)現(xiàn)的講解

●?具體加速效果的實(shí)際案例

第十一周：卷積計算的優(yōu)化算法

本節(jié)課將講解卷積計算的優(yōu)化算法，包括winograd等。

第十二周：神經(jīng)網(wǎng)絡(luò)加速庫

本節(jié)課將講解openblas庫的優(yōu)化，nnpack/qnnpack的優(yōu)化，及l(fā)owpgemm。

課程提綱：

●?openblas庫的優(yōu)化

●?nnpack/qnnpack的優(yōu)化

●?lowpgemm

第十三周：gpu上神經(jīng)網(wǎng)絡(luò)的運(yùn)行和加速

本節(jié)課將講解gpu與cpu計算加速的區(qū)別，英偉達(dá)gpu的原生cuda加速方法，及推理側(cè)tensorrt的使用。

課程提綱：

●?gpu與cpu計算加速的區(qū)別

●?英偉達(dá)gpu的原生cuda加速方法

●?推理側(cè)tensorrt的使用

第十四周：gpu加速通用加速庫

本節(jié)課將講解通用加速庫cublas，vulkan，opencl的使用。

課程提綱：

●?通用加速庫cublas的使用

●?Vulkan的使用

●?opencl的使用

第十五周：dsp，fpga，npu專用加速計算

本節(jié)課將講解dsp，fpga，npu的專用加速計算。

課程提綱：

●?dsp計算加速

●?fpga計算加速

●?npu專用加速計算

第十六周：npu使用

本節(jié)課將以嘉楠科技的k210為例，實(shí)現(xiàn)一個人臉檢測案例。

課程提綱：

●?嘉楠科技k210芯片介紹

●?nncase人臉檢測案例

感興趣的請?zhí)砑幼稍冾檰?/strong>

關(guān)于我們：一切從信任開始

我們專注人工智能人才培養(yǎng)4年，在AI領(lǐng)域，國內(nèi)屬于最頭部的人才培養(yǎng)黃埔院校。在AI人才培養(yǎng)上，已跟京東、騰訊等大廠一直建立良好的戰(zhàn)略合作關(guān)系，學(xué)員也來自斯坦福、伯克利、清華、北大等世界級名校。

△點(diǎn)擊logo△

職場成功案例

姓名：李**

學(xué)校專業(yè)：燕山大學(xué) 控制工程專業(yè) 2019級碩士畢業(yè)生

原工作單位：軟通動力 算法工程師 年薪20萬

跳槽方向：嵌入式算法工程師

匹配方案：技術(shù)研修+求職面試一籃子服務(wù)

最終跳槽公司：榮耀 年薪45萬

學(xué)習(xí)服務(wù)時長：7個月

姓名：Jerry Zhao

學(xué)校專業(yè)：澳大利亞國立大學(xué) 計算機(jī)專業(yè) 2018級本科畢業(yè)生

原工作單位：魯班軟件 初級算法工程師 年薪18萬

跳槽方向：ML算法工程師

匹配方案：技術(shù)研修+案例項(xiàng)目學(xué)習(xí)+求職面試一籃子服務(wù)

最終跳槽公司：網(wǎng)易 年薪40萬

學(xué)習(xí)服務(wù)時長：4個月

姓名：錢**

學(xué)校專業(yè)：中國農(nóng)業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù) 2018級本科畢業(yè)生

原工作單位：聚美國際 算法工程師 年薪22萬

跳槽方向：算法工程師

匹配方案：技術(shù)研修+求職面試一籃子服務(wù)

最終跳槽公司：亞馬遜電商 年薪47萬

學(xué)習(xí)服務(wù)時長：11個月

姓名：蔡*

學(xué)校專業(yè)：中科院自動化所 智能控制與計算智能 2020級博士畢業(yè)生

原工作單位：中國科學(xué)院自動化研究所-智能系統(tǒng)與工程研究中心-實(shí)習(xí) 年薪5萬

跳槽方向：邊緣計算算法工程師

匹配方案：背景提升+求職面試一籃子服務(wù)

最終跳槽公司：比亞迪 年薪38萬

學(xué)習(xí)服務(wù)時長：3個月

歷屆學(xué)員去向

感興趣的請?zhí)砑幼稍冾檰?/strong>