從手機(jī)中常被調(diào)戲的語音助手，到家里自動(dòng)播報(bào)天氣的智能音箱，到倉庫內(nèi)高效搬運(yùn)貨物的機(jī)器人，人工智能事實(shí)上已經(jīng)“活躍”在生活和工作的方方面面。

　　在大眾語境中，人工智能是“靈丹妙藥”，原本笨拙的計(jì)算機(jī)軟件程序加上它，似乎就變得智能起來。但事實(shí)上，“人工智能”只是一個(gè)籠統(tǒng)的概念，真正起作用的，其實(shí)是人工智能領(lǐng)域的一個(gè)具體技術(shù)方法——深度學(xué)習(xí)。

　　站在如今的時(shí)間節(jié)點(diǎn)回溯這場生產(chǎn)力變革，深度學(xué)習(xí)以及深度學(xué)習(xí)框架的重要性，再怎么強(qiáng)調(diào)也不為過。

　　深度學(xué)習(xí)是什么？深度學(xué)習(xí)框架又有什么用？

　　回顧人工智能的發(fā)展，每一次方法論的迭代都是為解決先前方法的問題。

　　20 世紀(jì) 80、90 年代，人工智能的實(shí)現(xiàn)方法是“模式識(shí)別”。這種方法需要專家為每一個(gè)問題編寫出一個(gè)專門的程序，效率并不高。

（模式識(shí)別中，一個(gè)字符 “3” 的圖像被劃分為 16 個(gè)子塊）

　　90 年代初，科學(xué)家們開始意識(shí)到一種更有效地構(gòu)建模式識(shí)別算法的方法，那就是用數(shù)據(jù)去替換專家。收集大量的數(shù)據(jù)，然后人工提取數(shù)據(jù)特征，接著“喂”給計(jì)算機(jī)，計(jì)算機(jī)學(xué)習(xí)數(shù)據(jù)中的規(guī)律，形成一個(gè)算法——這種人工智能方法叫做“機(jī)器學(xué)習(xí)”。

　　在解決簡單任務(wù)時(shí)，機(jī)器學(xué)習(xí)簡單有效，但如果涉及數(shù)據(jù)量大的復(fù)雜任務(wù)，主要依靠人工提取特征的機(jī)器學(xué)習(xí)就難以勝任了。

　　為了彌補(bǔ)機(jī)器學(xué)習(xí)的短板，科學(xué)家們參考人類大腦的神經(jīng)網(wǎng)絡(luò)，在機(jī)器學(xué)習(xí)的基礎(chǔ)上，打造了深度學(xué)習(xí)方法。

　　深度學(xué)習(xí)的特征提取并不依靠人工，而是交給了機(jī)器，相比機(jī)器學(xué)習(xí)極大提升了效率，人工智能行業(yè)這才有了蓬勃發(fā)展。

　　如果以從屬關(guān)系來看，機(jī)器學(xué)習(xí)是人工智能的一種具體實(shí)現(xiàn)方法，而深度學(xué)習(xí)則是機(jī)器學(xué)習(xí)的一個(gè)技術(shù)分支。

　　雖然人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)只是在結(jié)構(gòu)上相似，在工作機(jī)制上沒有太多相同之處，但深度學(xué)習(xí)很多算法中依然包含“神經(jīng)網(wǎng)絡(luò)”這個(gè)詞，比如經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。

　　卷積神經(jīng)網(wǎng)絡(luò)被普遍應(yīng)用在圖片識(shí)別領(lǐng)域，如你手機(jī)相冊里的人臉分類。循環(huán)神經(jīng)網(wǎng)絡(luò)則是機(jī)器翻譯準(zhǔn)確率大大提升的功臣。

　　從深?yuàn)W的神經(jīng)網(wǎng)絡(luò)，到手機(jī)相冊人臉分類這樣實(shí)際生產(chǎn)應(yīng)用，深度學(xué)習(xí)技術(shù)的落地過程涉及到多個(gè)不同的步驟和工具。

　　如果從頭開始設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)模型，需要開發(fā)人員對底層技術(shù)非常了解。這相當(dāng)于把很多對深度學(xué)習(xí)感興趣的開發(fā)者和公司拒之門外。

　　即使開發(fā)者對深度學(xué)習(xí)底層技術(shù)了如指掌，從零開始設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的耗時(shí)通常按周和月計(jì)，容易讓人失去耐心。

　　因此，有的公司和科研機(jī)構(gòu)就底層語言和重要的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了封裝，“打包”給開發(fā)者使用。開發(fā)者不必太過操心底層的技術(shù)，只需要通過調(diào)用頂層的 API 就可以應(yīng)用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。

　　這種封裝了底層語言和重要模型的工具，被稱之為“深度學(xué)習(xí)框架”。好比你要炒一盤菜，不會(huì)從研究怎么制造鍋或鏟開始，而是直接拿現(xiàn)成的用。對于打造一個(gè)深度學(xué)習(xí)應(yīng)用，數(shù)據(jù)相當(dāng)于食材，算法相當(dāng)于菜譜，而深度學(xué)習(xí)框架就類似于鍋和鏟了。

　　有業(yè)內(nèi)人士如此形容深度學(xué)習(xí)框架的重要性：在人工智能時(shí)代，深度學(xué)習(xí)框架就是人工智能時(shí)代的“操作系統(tǒng)”，起到了承上啟下的作用，上承各種業(yè)務(wù)模型、行業(yè)應(yīng)用，下接芯片、大型計(jì)算機(jī)系統(tǒng)。

　　簡而言之，深度學(xué)習(xí)是一把利刃，但沒有輔助工具，很少人會(huì)用。借助深度學(xué)習(xí)框架這個(gè)工具，采用這把利刃的門檻大大降低，用的人多了，才有了如今的人工智能浪潮。

　　缺失國產(chǎn)深度學(xué)習(xí)框架，和缺少芯片一樣是 “卡脖子” 問題

　　深度學(xué)習(xí)框架的競爭，已經(jīng)成為人工智能競賽的制高點(diǎn)。世界范圍內(nèi)，市場主流的開源深度學(xué)習(xí)框架大多數(shù)是國外廠商或機(jī)構(gòu)主導(dǎo)，比如 Google 的 TensorFlow 和 Facebook 的 PyTorch 占據(jù)了大部分市場份額。

　　在中國，開發(fā)者也高度依賴國外的開源框架。2019 年 7 月，長江商學(xué)院經(jīng)濟(jì)學(xué)教授許成鋼在一堂課上給出了一個(gè)數(shù)據(jù)，幾乎 93% 的中國研究者使用的人工智能開源軟件包，是美國的機(jī)構(gòu)開發(fā)提供的。

　　這無疑是一個(gè)不好的信號(hào)，高度依賴國外的開源深度學(xué)習(xí)框架相當(dāng)于被“卡住了脖子”。

　　近幾年，中國人工智能應(yīng)用領(lǐng)域發(fā)展非常迅猛，但這更多得益于龐大用戶量產(chǎn)生的數(shù)據(jù)紅利。深度學(xué)習(xí)框架好比人工智能產(chǎn)業(yè)的地基，縱使蓋出了再高的樓，沒有自己的地基，也有非常大的崩塌風(fēng)險(xiǎn)。

　　類似的情況已經(jīng)在芯片領(lǐng)域發(fā)生。2015 年，國防科技大學(xué)主導(dǎo)的超級計(jì)算機(jī) “天河二號(hào)”，因英特爾至強(qiáng)處理器斷供，打斷了原定升級計(jì)劃。被 “卡住脖子” 的天河二號(hào)，在 2018 年借助中國自研的 Matrix-2000 加速卡才完成升級。

　　2019 年，華為海思總裁一份致員工信廣為傳播：多年前，公司做出了極限生存的假設(shè)，預(yù)計(jì)有一天，所有美國的先進(jìn)芯片和技術(shù)將不可獲得。為了這個(gè)以為永遠(yuǎn)不會(huì)發(fā)生的假設(shè)，數(shù)千海思兒女為公司的生存打造 “備胎”。今天，曾經(jīng)打造的備胎，一夜之間全部轉(zhuǎn) “正”！

　　在深度學(xué)習(xí)框架領(lǐng)域，也有必要做出類似華為海思這樣的極限生存假設(shè)：如果有一天 TensorFlow 這些國外的深度學(xué)習(xí)框架不再開源，中國的人工智能開發(fā)者有什么替代方案？

　　“卡脖子” 問題的新答案：曠視將開源深度學(xué)習(xí)框架 MegEngine

　　事實(shí)上，不少中國企業(yè)都意識(shí)到了這個(gè)問題，也交出了解決方案。比如百度的 Paddle Paddle 和華為的 MindSpore。

　　有業(yè)內(nèi)人士透露，很快人工智能開發(fā)者又有多一個(gè)選擇：曠視將于 3 月底開源其人工智能算法平臺(tái) Brain++ 的核心深度學(xué)習(xí)框架——MegEngine，主要面向高校師生、傳統(tǒng)產(chǎn)業(yè)和中小企業(yè)的 AI 開發(fā)者。

　　相比大部分深度學(xué)習(xí)框架，MegEngine 特別針對計(jì)算機(jī)視覺進(jìn)行深度優(yōu)化，不僅支持大規(guī)模分布式訓(xùn)練，且兼容 Pytorch、學(xué)習(xí)成本低。在曠視內(nèi)部，MegEngine 主要就是用于計(jì)算機(jī)視覺領(lǐng)域的開發(fā)。據(jù)曠視研發(fā)同學(xué)稱，即便是新同學(xué)不到 1 個(gè)月就可以快速上手。

　　在架構(gòu)上，MegEngine 共分為“計(jì)算引擎”、“運(yùn)行時(shí)管理”、“編譯和優(yōu)化”、以及“編程和表示”四個(gè)層級。

　　計(jì)算引擎以 MegDNN 為核心，發(fā)揮計(jì)算作用。MegDNN 是一個(gè)基于異構(gòu)架構(gòu)，有著統(tǒng)一交互方法的內(nèi)核，可以根據(jù)設(shè)備本身啟發(fā)式地選擇最優(yōu)內(nèi)核，也可以讓用戶自己選擇最適合的內(nèi)核進(jìn)行計(jì)算。

　　運(yùn)行時(shí)管理層包括兩個(gè)模塊，分別是內(nèi)核調(diào)度和內(nèi)存管理和優(yōu)化兩大模塊。在內(nèi)存管理和優(yōu)化模塊中，MegEngine 采用了動(dòng)態(tài)、靜態(tài)內(nèi)存分配并存的方式，因此可同時(shí)支持動(dòng)態(tài)圖和靜態(tài)圖模式。

　　而在編譯層和優(yōu)化層，MegEngine 使用了基于計(jì)算圖的編譯和優(yōu)化方法。

　　事實(shí)上，2013 年推出的 Caffe 采用了配置文件方式表達(dá)網(wǎng)絡(luò)結(jié)構(gòu)，在當(dāng)時(shí)已經(jīng)難以滿足開發(fā)一些大型神經(jīng)網(wǎng)絡(luò)的需要。后來，TensorFlow 2015 年發(fā)布時(shí)，采用了計(jì)算圖的方式，很好適應(yīng)了大型神經(jīng)網(wǎng)絡(luò)開發(fā)的發(fā)展。而值得一提的是，MegEngine 在 2014 年開發(fā)之初，也采用了計(jì)算圖的方式。

（TensorFlow 的計(jì)算圖）

　　MegEngine 最頂層的編程和表示層，支持高級編程語言（如 Python），方便用戶交互，一方面更容易上手，另一方面使新算法移植更便捷。

　　隨著曠視業(yè)務(wù)的發(fā)展，曠視 MegEngine 也在不斷進(jìn)化，比如引進(jìn) AutoML 技術(shù)。AutoML 全稱是 Automated Machine Learning（自動(dòng)機(jī)器學(xué)習(xí)），核心理念是讓算法來訓(xùn)練算法，最大程度減少人力。

　　在曠視的規(guī)劃中，研究院最想做的事情是構(gòu)建一個(gè)三位一體的人工智能算法平臺(tái)，能夠?yàn)殚_發(fā)者們提供端到端的解決方案和高效的開發(fā)體驗(yàn)。從 2014 年寫下 MegEngine 的第一行代碼開始，這項(xiàng)意義非凡的工作就開始了。

　　曠視首席科學(xué)家和研究院院長孫劍在一次公開演講中表示：“我們做深度學(xué)習(xí)框架的時(shí)候還沒有 TensorFlow，而我們自己的第一版出來之后 TensorFlow 才發(fā)布。當(dāng)時(shí) TensorFlow 不算很成熟，所以一直用自己的開發(fā)工具和平臺(tái)。”

　　隨著研發(fā)的拓展，MegEngine 經(jīng)歷了 8 版迭代。同時(shí)曠視在核心的深度學(xué)習(xí)框架上發(fā)展出了自有的技術(shù)生態(tài)，MegEngine 演進(jìn)成了 Brain++——一個(gè)涵蓋了深度學(xué)習(xí)算法開發(fā)的所有環(huán)節(jié)的人工智能算法平臺(tái)，針對數(shù)據(jù)管理，算力調(diào)度和深度學(xué)習(xí)訓(xùn)練框架，分別構(gòu)建了三個(gè)組成部分：MegData（數(shù)據(jù)管理平臺(tái)）、MegCompute（深度學(xué)習(xí)云計(jì)算平臺(tái) ）和即將開源的 MegEngine（深度學(xué)習(xí)框架）。

　　對于曠視來說，Brain++ 對底層研發(fā)的支持就是解決了企業(yè)核心生產(chǎn)力的問題，這個(gè)端到端的開發(fā)工具讓曠視能夠規(guī)模化實(shí)現(xiàn)算法創(chuàng)新。也正是借助 Brain++ 這個(gè)自研的人工智能算法平臺(tái)，成立十年的曠視取得了領(lǐng)先業(yè)界的成績。

　　學(xué)術(shù)領(lǐng)域，Brain++ 幫助曠視獲得了 27 個(gè)世界級的人工智能競賽冠軍，其中包括 2017 年至 2019 年拿下 COCO 三連冠。COCO 是人工智能領(lǐng)域最具影響力的通用物體檢測挑戰(zhàn)賽，在計(jì)算機(jī)視覺領(lǐng)域享有很高聲譽(yù)。

（曠視獲獎(jiǎng)證書 @COCO 2019）

　　產(chǎn)業(yè)方面，曠視依靠 Brain++ 布局了個(gè)人物聯(lián)網(wǎng)、城市物聯(lián)網(wǎng)和供應(yīng)鏈物聯(lián)網(wǎng)三個(gè)領(lǐng)域。每個(gè)領(lǐng)域，曠視都扎得足夠深入。

　　比如，在個(gè)人物聯(lián)網(wǎng)領(lǐng)域，F(xiàn)ace++ 已經(jīng)是人臉識(shí)別領(lǐng)域的行業(yè)標(biāo)桿。在供應(yīng)鏈物聯(lián)網(wǎng)領(lǐng)域，曠視的客戶心怡科技，借助 Brain++，實(shí)現(xiàn)雙 11 當(dāng)天拆零出倉八萬多箱貨物，刷新了單倉機(jī)器人集群作業(yè)的行業(yè)記錄。

　　在學(xué)術(shù)和產(chǎn)業(yè)端都證明了自身價(jià)值后，Brain++ 也獲得了國家的認(rèn)可。2019 年 8 月，科技部宣布依托曠視建設(shè) “圖像感知國家新一代人工智能開放創(chuàng)新平臺(tái)”，而這一開放創(chuàng)新平臺(tái)的核心，正是 Brain++。同年 10 月，Brain++ 在世界互聯(lián)網(wǎng)大會(huì)上被授予 “世界互聯(lián)網(wǎng)領(lǐng)先科技成果”。

　　回到 MegEngine，一個(gè)已經(jīng)在學(xué)術(shù)界和產(chǎn)業(yè)界都證明了自己實(shí)力的深度學(xué)習(xí)框架，在 3 月底開源給業(yè)界使用，無疑是重大利好。面對“如果國外深度學(xué)習(xí)框架不再開源”這個(gè)假設(shè)，中國的人工智能開發(fā)者已經(jīng)無需擔(dān)心。

總結(jié)

以上是生活随笔為你收集整理的旷视计划3月底开源深度学习框架，AI开发生态有望焕发新生机的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。