10月15日下午，在北京兆維大廈，由CSDN社區(qū)主辦的技術(shù)主題月系列之——《深度學(xué)習(xí)框架的重構(gòu)與思考》活動(dòng)成功舉辦。CSDN邀請(qǐng)了用友暢捷通人工智能負(fù)責(zé)人張俊林、創(chuàng)業(yè)公司大數(shù)據(jù)總監(jiān)周步戀、亮風(fēng)臺(tái)高級(jí)算法研究員史信楚、IBM中國(guó)研究院高級(jí)研究員薛超共同圍繞“深度學(xué)習(xí)”這個(gè)熱點(diǎn)話題，分享了深度學(xué)習(xí)方向創(chuàng)業(yè)、 深度學(xué)習(xí)如何教機(jī)器學(xué)會(huì)閱讀理解、 深度學(xué)習(xí)與AR的結(jié)合、 分布式深度學(xué)習(xí)做監(jiān)測(cè)分析以及優(yōu)化等議題。近200位開發(fā)者利用周末參加了本次活動(dòng)，現(xiàn)場(chǎng)提問踴躍，嘉賓互動(dòng)很有深度。

CSDN產(chǎn)品運(yùn)營(yíng)姚前擔(dān)任活動(dòng)主持人

創(chuàng)業(yè)公司大數(shù)據(jù)總監(jiān)周步戀：深度學(xué)習(xí)方向創(chuàng)業(yè)

開篇周步戀為開發(fā)者深入介紹了幾個(gè)概念：機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人工智能。

• 其中人工智能是最大的概念。這些年來(lái)IT屆所關(guān)注的數(shù)據(jù)挖掘、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、自然語(yǔ)言，各種統(tǒng)計(jì)概率，很多機(jī)器的高并發(fā)，各種運(yùn)算，其追求的本質(zhì)可以說(shuō)就是人工智能。人工智能不是一兩天就能達(dá)到，有可能要幾十年、幾百年，甚至能不能達(dá)到現(xiàn)在很多人還在論證。
• 機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能最普遍的方法，在這十幾年來(lái)在搜索中用得比較多，概括來(lái)說(shuō)就是使用算法分析數(shù)據(jù)、實(shí)踐、學(xué)習(xí)，然后對(duì)真實(shí)的事實(shí)做出決策或預(yù)測(cè)。
• 深度學(xué)習(xí)就是機(jī)器學(xué)習(xí)的一種方法。有了深度學(xué)習(xí)這幾年技術(shù)突破，人工智能將可能被帶向原來(lái)教科書上的概念，生活中很多行業(yè)，包括醫(yī)療、互聯(lián)網(wǎng)安全，包括搜索、旅游各種服務(wù)都會(huì)提升。深度學(xué)習(xí)是最小的范圍，但是深度學(xué)習(xí)可能影響最廣大。

接著，周步戀為開發(fā)者展示了深度學(xué)習(xí)的國(guó)外創(chuàng)業(yè)圖譜。

并對(duì)以下幾點(diǎn)進(jìn)行淺析：

從資金和數(shù)據(jù)方面分析了為什么中國(guó)創(chuàng)業(yè)公司不做Alpha Go這樣的深度學(xué)習(xí)和人工智能。

圖像識(shí)別是現(xiàn)在是深度學(xué)習(xí)極有可能突破的一個(gè)領(lǐng)域。

情感識(shí)別技術(shù)可以被用來(lái)預(yù)防兒童拐賣及提前識(shí)別小偷。

當(dāng)深度學(xué)習(xí)網(wǎng)絡(luò)到了百層、千層，在網(wǎng)絡(luò)安全方面的應(yīng)用可能是意想不到的。

醫(yī)療方面，找一個(gè)醫(yī)生和找十個(gè)醫(yī)生做的結(jié)論未必一樣， 所以深度學(xué)習(xí)在醫(yī)療方向是極有可能突破的。

最后，周步戀對(duì)深度學(xué)習(xí)的未來(lái)做了如下幾點(diǎn)暢想：

工具一旦開源，深度學(xué)習(xí)的發(fā)展速度會(huì)非常快。

人類的知識(shí)經(jīng)驗(yàn)每個(gè)人都不一樣，深度學(xué)習(xí)在這個(gè)方面還有待突破，遠(yuǎn)遠(yuǎn)不夠。

推廣方面，深度學(xué)習(xí)極有可能對(duì)詐騙、拐賣兒童，或者抑郁癥提前進(jìn)行預(yù)判，有了情感識(shí)別政府就不用反腐了。

提問環(huán)節(jié)，周步戀針對(duì)樣本的獲取問題回答開發(fā)者的提問：

開發(fā)者：您剛才說(shuō)樣本的問題，樣本搭建國(guó)內(nèi)有沒有提供。
周步戀：樣本做不同領(lǐng)域樣本可能不一樣，現(xiàn)在尤其做數(shù)據(jù)公司把數(shù)據(jù)視為核心的資產(chǎn)，現(xiàn)在數(shù)據(jù)開放在國(guó)內(nèi)基本做不到，因?yàn)閿?shù)據(jù)是他的資產(chǎn)，很多公司僅僅是抱著數(shù)據(jù)就能讓自己過(guò)得很好。
開發(fā)者：現(xiàn)在獲得數(shù)據(jù)源非常少，做深度學(xué)習(xí)樣本非常少。
周步戀：所以現(xiàn)在做深度學(xué)習(xí)還要在大公司，或者某個(gè)領(lǐng)域拿到垂直的數(shù)據(jù)，拿到醫(yī)療創(chuàng)業(yè)必須拿到現(xiàn)在醫(yī)院診療數(shù)據(jù)，如果僅僅去想就沒法做。

用友暢捷通人工智能負(fù)責(zé)人張俊林：深度學(xué)習(xí)如何教機(jī)器學(xué)會(huì)閱讀理解

張俊林首先為開發(fā)者分享了他所感興趣的幾個(gè)話題：

為什么深度學(xué)習(xí)相對(duì)傳統(tǒng)的方法來(lái)說(shuō)有大幅度的提高，原因在哪？

聊天機(jī)器人，將來(lái)應(yīng)用的門戶的控制形態(tài)就是聊天機(jī)器人。

閱讀理解，實(shí)例就是搜索引擎，搜索引擎從工業(yè)或者產(chǎn)業(yè)角度已經(jīng)是很成熟的產(chǎn)業(yè)了，但是要從產(chǎn)品形態(tài)過(guò)程和技術(shù)發(fā)展來(lái)說(shuō)，目前搜索還是比較原始的。

張俊林此次分享主要圍繞著第三點(diǎn)，即閱讀理解展開。深度剖析了如下幾個(gè)方面：

什么是機(jī)器閱讀理解

目前機(jī)器做閱讀理解常見的三種形態(tài)：

人工合成閱讀理解：閱讀理解是一篇文章，人工合成是說(shuō)這篇文章不是自然語(yǔ)言人寫的，而是人把語(yǔ)言極度簡(jiǎn)化。用幾句話構(gòu)成的場(chǎng)景，每句話極簡(jiǎn)化，誰(shuí)做什么事，對(duì)什么物品做什么事，就構(gòu)成一個(gè)場(chǎng)景?！癝am走進(jìn)了廚房?！薄澳闷鹛O果?！薄坝肿哌M(jìn)了臥室?！薄鞍烟O果放到臥室?！爆F(xiàn)在機(jī)器理解這四句話，問題是蘋果在什么位置。這題機(jī)器現(xiàn)在可以做對(duì)的，會(huì)告訴你在臥室?？瓷先ズ?jiǎn)單，實(shí)際不簡(jiǎn)單。如果用傳統(tǒng)方式做有兩個(gè)地方出現(xiàn)蘋果所在的場(chǎng)景，一個(gè)是廚房，第二在臥室，如果答不對(duì)就是蘋果在廚房。正確回答是有推理步驟，先在廚房，后來(lái)到了臥室放下蘋果，實(shí)際沒有想象中那么簡(jiǎn)單。這是一種閱讀理解的形態(tài)。

新聞的片段閱讀理解：給新聞的片段，機(jī)器理解片段，給出問題要求機(jī)器給出答案。這個(gè)有特點(diǎn)的地方是新聞里人名、地名、電影名全部替換掉，用entity12345代替實(shí)體，問的問題跟實(shí)體有關(guān)，告訴我這個(gè)位置上應(yīng)該是哪個(gè)實(shí)體的正確答案，如果真正理解能夠正確推出來(lái)這個(gè)實(shí)體在這個(gè)位置。這叫做完形填空任務(wù)。

托福聽力理解：人參加托福考試，那邊播放錄音介紹一個(gè)故事提問題，從選擇里選擇正確答案?，F(xiàn)在這個(gè)例子完全由機(jī)器做托福閱讀理解，目前準(zhǔn)確率還可以，在50%左右。但是跟剛才有點(diǎn)不一樣的是這里是選擇題。

目前用深度學(xué)習(xí)是怎么做到讓機(jī)器能夠理解文章的，并介紹了三種表示文章的模型。

文章的三種匹配模型，即一維模型、二維模型、深度學(xué)習(xí)推理機(jī)制。

最后，張俊林對(duì)深度學(xué)習(xí)的閱讀理解做了總結(jié)與展望：

深度學(xué)習(xí)做機(jī)器閱讀理解時(shí)間也就一年，可以說(shuō)進(jìn)展已經(jīng)很大了，一年時(shí)間出了至少幾十個(gè)模型出來(lái)。但是問題在，首先數(shù)據(jù)集合有問題，現(xiàn)在數(shù)據(jù)集合有幾類，一類要不規(guī)模太小，學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)包含這么多參數(shù)的模型一定沒辦法做復(fù)雜模型的。第二很多數(shù)據(jù)是人工合成的。第二個(gè)模型單一，根據(jù)剛才歸納就是一維、二維、推理模型。第一二維模型需要更深入探索，二維模型就是Attention，實(shí)際你還可以有很多探索做，包括匹配函數(shù)，包括二維匹配模型都是非深度的，你可以套深度的用一下。

世界知識(shí)的引入，對(duì)于人真正想理解一篇文章，世界知識(shí)一定要，就是人分男人女人，但是機(jī)器是不知道的，剛開始為了簡(jiǎn)化問題把世界知識(shí)排除在外，但是隨著像人一樣達(dá)到閱讀理解程度必須把世界知識(shí)引入到模型里來(lái)。推理機(jī)制需要完善，說(shuō)到底核心就是注意力焦點(diǎn)不斷轉(zhuǎn)移，還是比較單一，這還需要有新的機(jī)制推出來(lái)。

亮風(fēng)臺(tái)高級(jí)算法研究員史信楚：深度學(xué)習(xí)與AR的結(jié)合

首先，史信楚對(duì)亮風(fēng)臺(tái)技術(shù)及AR/VR技術(shù)做了簡(jiǎn)要的介紹。并著重對(duì)AR關(guān)鍵技術(shù)的三個(gè)部分做了講解：

3D環(huán)境理解：對(duì)環(huán)境理解就是識(shí)別和定位，要知道什么東西在什么地方。識(shí)別和地位根據(jù)形式可以分為粗定位和細(xì)定位，粗定位就是視覺上（比如圖像粗定位在什么地方可以給一個(gè)形式），細(xì)定位要精確到點(diǎn)，或者基于XYZ的坐標(biāo)，包括角度。粗定位力度和細(xì)定位力度都是AR需求，要知道你的產(chǎn)品想做多么精確，或者只是做一個(gè)效果。需要強(qiáng)調(diào)的是3D環(huán)境理解是一個(gè)基礎(chǔ)，跟深度學(xué)習(xí)接觸最緊密。3D環(huán)境理解學(xué)術(shù)界里主要是計(jì)算機(jī)視覺，計(jì)算機(jī)視覺在深度學(xué)習(xí)驅(qū)動(dòng)下得到迅速發(fā)展：顯示技術(shù)和虛實(shí)交互、光場(chǎng)技術(shù)、全息投影、語(yǔ)音、手勢(shì)、觸覺、人臉，這些在深度學(xué)習(xí)里都有很大的應(yīng)用。

3D物體識(shí)別：對(duì)3D場(chǎng)景建模，從識(shí)別物體擴(kuò)大到更大的區(qū)域：識(shí)別場(chǎng)景，知道場(chǎng)景里面有哪些東西和方位。這叫做三維建模和重構(gòu)，這是AR比較核心的東西。我需要知道物體的位置，而且要知道它是什么。

手勢(shì)：現(xiàn)在手勢(shì)AR里應(yīng)用還沒有特別多，這是有些原因的。深度學(xué)習(xí)在AR里有用是因?yàn)槠鋸恼Z(yǔ)意層次上做了區(qū)分，AR從技術(shù)上來(lái)說(shuō)從普通2D到3D到場(chǎng)景理解，語(yǔ)意逐漸加強(qiáng)的。我們一般通過(guò)關(guān)鍵點(diǎn)的匹配，這個(gè)深度學(xué)習(xí)用得就不太多。但是普通的3D識(shí)別就可以有很多，比如文字識(shí)別、人體檢測(cè)、表情識(shí)別、場(chǎng)景識(shí)別、行為識(shí)別，比如戴AR眼鏡在商店里掃描識(shí)別商品文字可以對(duì)應(yīng)出相應(yīng)宣傳或者效果，不管是信息還是AR宣傳效果。人體檢測(cè)也一樣，現(xiàn)在也有需求，因?yàn)楝F(xiàn)在以人為中心，商場(chǎng)里如果有人進(jìn)入可能會(huì)首先檢測(cè)出來(lái)相關(guān)的效果?？傮w來(lái)說(shuō)識(shí)別和檢測(cè)特別多，因?yàn)樽R(shí)別是看作一個(gè)接口，如果識(shí)別出來(lái)后面可以做很多東西，所以識(shí)別是很強(qiáng)的接口，有了這個(gè)接口后面AR內(nèi)容就可以定制了。但是各方面AR里用得不太多，我們也在探索，有些針對(duì)AR特點(diǎn)有限制。

IBM中國(guó)研究院高級(jí)研究員薛超：分布式深度學(xué)習(xí)做監(jiān)測(cè)分析以及優(yōu)化

首先，薛超為開發(fā)者分析了傳統(tǒng)的機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的不同、分類器、貝葉斯網(wǎng)絡(luò)、決策樹等概念。

簡(jiǎn)單介紹后，進(jìn)入巡查哦本次分享的核心問題：分布式如何作為分布式的拓展，并主要介紹在SPARK怎么進(jìn)行分布式拓展。

這是著名的SPARKNet，如果大家對(duì)SPARK稍微知道一點(diǎn)就能明白，很多工作跑著，跟MASTER通信，每次疊加結(jié)束之后把數(shù)據(jù)傳給它，master做簡(jiǎn)單平均分后，發(fā)回來(lái)再做下一次。這瓶頸是非常大的，因?yàn)閭鬏斄糠浅４?#xff0c;而且單點(diǎn)問題比較壓力，master壓力也非常嚴(yán)重。這種情況下分布式計(jì)算跟一臺(tái)機(jī)計(jì)算效果如果設(shè)不好，還不如一臺(tái)機(jī)計(jì)算。所以伯克利做SPARKNet就把傳統(tǒng)做了優(yōu)化，就是別每次都傳了，隔一段時(shí)間傳我一次，但是如果隔一段時(shí)間傳就是同步和異步的折中，完全異步可能不收斂了，在保證這些東西收斂情況下盡量增大傳輸間隔。這兩個(gè)公式可以算最后的時(shí)間。于是，給出了測(cè)試結(jié)果，發(fā)現(xiàn)想跑成三倍快的效率需要六臺(tái)機(jī)器，隔多長(zhǎng)時(shí)間通信一次這里也有說(shuō)明，大概什么情況下效率最好。這個(gè)圖看到SPARKNet更為平緩了，如果SPARK做深度學(xué)習(xí)是首選，開發(fā)這個(gè)人跟做SPARK是一撥人，未來(lái)會(huì)不會(huì)加入SPARK上也是非常期待值得。但是不可避免瓶頸在SPARK是有的，這跟控制通信的。

并介紹了雅虎的CaffeOnSPARK

很多公司深度學(xué)習(xí)數(shù)據(jù)在一起，機(jī)器學(xué)習(xí)數(shù)據(jù)在一起，數(shù)據(jù)本身就是并行，而不是算法并行的。這是以前的一個(gè)問題，雅虎說(shuō)，以前數(shù)據(jù)預(yù)處理的時(shí)候做準(zhǔn)備，數(shù)據(jù)搬到深度學(xué)習(xí)上去，把模型算好又回來(lái)，這里有來(lái)回的數(shù)據(jù)遷移，大規(guī)模應(yīng)用肯定是很大的瓶頸。說(shuō)能不能想都用Hadoop存這些數(shù)，都用它操作深度學(xué)習(xí)，當(dāng)然這個(gè)想法是非常好的。那你需要在SPARK支持深度學(xué)習(xí)，你把它看成應(yīng)用，跟MLLib一樣，試圖寫這樣的庫(kù)。跟剛才的圖是完全不一樣的，它避開了單點(diǎn)失效的問題，是用MPI分布式方法，通過(guò)互相傳輸通信。當(dāng)然了有LMA提高通信速度做同步，它也有自己的方法。這種剛出來(lái)大家覺得這個(gè)想法非常好，這個(gè)東西儼然就是趨勢(shì)，但是后來(lái)也是沒有搞成，但是思想還是很值得大家借鑒，沒有搞成原因主要因?yàn)镸PI東西不好管理。SPARK雖然種種不是，但是最大好處是容錯(cuò)，SPARK算錯(cuò)之后可以容錯(cuò)，可以回來(lái)，可以再算。但是如果MPI管理怎么管是大問題。第二個(gè)因?yàn)檠呕⒐靖雀璨灰粯?#xff0c;所以說(shuō)維護(hù)人員也會(huì)變得很少，在推薦下面就漸漸落下風(fēng)。

接下來(lái)，薛超向開發(fā)者解讀了深度學(xué)習(xí)的趨勢(shì)：

異構(gòu)的計(jì)算：不是純CPU計(jì)算，未來(lái)會(huì)有更多資源融入到深度學(xué)習(xí)上來(lái)，比如PGA。

分布式深度學(xué)習(xí)的framework

服務(wù)：因?yàn)樯疃葘W(xué)習(xí)門檻非常低。低的門檻就要求以后深度學(xué)習(xí)服務(wù)跟用戶來(lái)說(shuō)交互更為方便，作為一種深度學(xué)習(xí)服務(wù)就是趨勢(shì)。

最后，薛超向研發(fā)者介紹了通過(guò)實(shí)踐所涉及的Hyperparameter的選擇。

總結(jié)

以上是生活随笔為你收集整理的聚焦CSDN技术主题月：深度学习框架的重构与思考专场回顾的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。