AI公開課：19.05.29 浣軍 百度大數(shù)據(jù)實(shí)驗(yàn)室主任《AutoDL 自動(dòng)化深度學(xué)習(xí)建模的算法和應(yīng)用》課堂筆記以及個(gè)人感悟

?

導(dǎo)讀
? ? ? ?浣軍博士，漢族，1975年出生于江蘇蘇州，華人科學(xué)家，教授，博士生導(dǎo)師，國(guó)際著名人工智能專家。歷任美國(guó)堪薩斯大學(xué)電子工程和計(jì)算機(jī)系終身講席正教授、博士生導(dǎo)師、美國(guó)國(guó)家科學(xué)基金委大數(shù)據(jù)學(xué)科主任、葛蘭素制藥高級(jí)訪問科學(xué)家。現(xiàn)任百度大數(shù)據(jù)實(shí)驗(yàn)室主任。
? ? ? ?2006年在北卡來羅納大學(xué)計(jì)算機(jī)系獲得博士學(xué)位后加入堪薩斯大學(xué)，歷任助理教授、副教授、正教授、講席正教授。?
浣軍博士擔(dān)任堪薩斯大學(xué)生物信息學(xué)和計(jì)算生命科學(xué)實(shí)驗(yàn)室主任，國(guó)家分子探針研究中心化學(xué)信息學(xué)部主任等職。?
? ? ? ?2015-2018年 任美國(guó)國(guó)家科學(xué)基金委，計(jì)算和信息學(xué)部，擔(dān)任大數(shù)據(jù)學(xué)科主任，主管大數(shù)據(jù)項(xiàng)目規(guī)劃和審批。
? ? ? ?2018年1月18日，加入百度研究院，擔(dān)任百度大數(shù)據(jù)實(shí)驗(yàn)室主任 。浣軍教授在百度提出開放普惠AI理念，主持開發(fā)了Baidu AutoDL: Automated Deep Learning，讓廣大中小初創(chuàng)企業(yè)個(gè)人無需特殊軟硬件設(shè)備和工程團(tuán)隊(duì)也能享受到百度開發(fā)的先進(jìn)AI技術(shù)。
? ? ? ?研究領(lǐng)域：浣軍博士長(zhǎng)期從事AI、大數(shù)據(jù)、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的理論、算法和應(yīng)用的研究，研究領(lǐng)域涉及深度學(xué)習(xí)、大數(shù)據(jù)、生物信息學(xué)等。

?

目錄

?

問答環(huán)節(jié)

現(xiàn)場(chǎng)圖片

演講PPT

人工智能布局

AutoDL

---

?

?

問答環(huán)節(jié)

小編正在使勁整理中……
雷鳴教授：模型的訓(xùn)練，類似啟發(fā)式搜索。初始的模型是什么？
浣軍教授：按照不同模式需要進(jìn)行因地制宜，比如Resnet，大體機(jī)構(gòu)要是知道的，搜出來的是一個(gè)cell，比如七個(gè)節(jié)點(diǎn)的模塊，在這個(gè)模板上進(jìn)行優(yōu)化，然后將多個(gè)cell結(jié)合起來。第三個(gè)是，比如從Resnet開始，進(jìn)行局部修改，split，把一層或者改為兩層，通過這樣得到優(yōu)化的結(jié)果。
雷鳴教授：第一個(gè)是有一個(gè)大體上框架，然后往里面填框架。第二個(gè)是模塊化的替換，相當(dāng)于換個(gè)發(fā)動(dòng)機(jī)或者什么的，比如火車，有可替換性，然后根據(jù)不同組合進(jìn)行作業(yè)；第三個(gè)，局部分析修改。下一個(gè)問題，對(duì)于數(shù)據(jù)量有什么要求么？
浣軍教授：訓(xùn)練一次幾個(gè)小時(shí)，如果比如訓(xùn)練需要3天。整個(gè)訓(xùn)練比較大，可以理解為，利用AutoDL，找組件，利用人類的某種組合進(jìn)行優(yōu)化。
雷鳴教授：有點(diǎn)類似金融數(shù)據(jù)分析，先找這些特征，然后綜合這些特征，然后通過二級(jí)市場(chǎng)操作，會(huì)得到有效利用。能不能講一講在其他推薦、大數(shù)據(jù)處理領(lǐng)域上，如何應(yīng)用？
浣軍教授：應(yīng)該說，視覺領(lǐng)域需求比較強(qiáng)烈，但是NLP上也有很多應(yīng)用，比如設(shè)計(jì)RNN或者優(yōu)化LSTM算法。比如遷移學(xué)習(xí)，利用Bert訓(xùn)練模型，然后遷移到某個(gè)具體場(chǎng)景上。關(guān)于推薦系統(tǒng)上，其實(shí)，模型不見得很深，尤其對(duì)于FE處理，這一塊特別重要。
雷鳴教授：在應(yīng)用上，比如根據(jù)遷移學(xué)習(xí)或者模型壓縮，AutoDL有很多有意思的應(yīng)用，比如還有其他的那些應(yīng)用？
浣軍教授：在分類上，除了圖像分類。圖像分割領(lǐng)域，比如最近百度語音合作做的，城管的項(xiàng)目，通過攝像頭進(jìn)行識(shí)別，識(shí)別垃圾不應(yīng)該出現(xiàn)在不該出現(xiàn)的地方。語義分割領(lǐng)域，工業(yè)質(zhì)檢找到產(chǎn)品缺陷，困境是都是小樣本、弱監(jiān)督。弱標(biāo)簽并不是不標(biāo)記，而是簡(jiǎn)化標(biāo)記。安全領(lǐng)域，如何防止別人攻擊，如何模擬攻擊。風(fēng)格遷移領(lǐng)域，去燥、超分辨率等，做特征分層，優(yōu)化k層的識(shí)別。
雷鳴教授：放眼未來，未來會(huì)有哪些潛在的技術(shù)以及如何影響產(chǎn)業(yè)？
浣軍教授：理論上，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能之間的關(guān)系，如何通過理論進(jìn)行刻畫，從而用來指導(dǎo)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)。對(duì)樣本的選擇，如何優(yōu)化網(wǎng)絡(luò)，比如數(shù)據(jù)的選擇、優(yōu)化器的選擇。比如要識(shí)別某種動(dòng)物、識(shí)別某種疾病，這對(duì)于人類來說，是用的一套系統(tǒng)進(jìn)行的識(shí)別，如何在任務(wù)不確定的情況下，也有比較好的模型。這個(gè)方向若有擴(kuò)展，能夠有更大的范圍，更能優(yōu)化模型。
雷鳴教授：探討所謂深度學(xué)習(xí)的人才，哈哈，其實(shí)就是調(diào)整各模型，如果調(diào)參被AutoDL搶走，那么我們未來的人才應(yīng)走向何方？
浣軍教授：雖然現(xiàn)在的學(xué)生只會(huì)調(diào)參，哈哈，比如我們可以建立一個(gè)車床，讓學(xué)生的加工精度進(jìn)行提高，使大家自我能力提升。
雷鳴教授：還要理解網(wǎng)絡(luò)的結(jié)構(gòu)，嘗試改一下網(wǎng)絡(luò)的結(jié)構(gòu)。AutoDL有沒有可能會(huì)用于一些先驗(yàn)知識(shí)？
浣軍教授：比如做氣象，天氣預(yù)測(cè)，它是有一個(gè)很強(qiáng)的物理機(jī)制的，如果單純?nèi)W(xué)習(xí)，它需要的數(shù)據(jù)量要很大的。可以考慮混合建模。除了模型嵌入，還有知識(shí)嵌入，比如要預(yù)測(cè)斑馬，原先不知道斑馬，實(shí)際上做預(yù)測(cè)的時(shí)候，就不需要大量的斑馬圖像。能夠有效的降低對(duì)數(shù)據(jù)集的依賴。很多的知識(shí)，比如夸模態(tài)，既有圖像又有語言。
雷鳴教授：最近何何凱明的大作，隨機(jī)的網(wǎng)絡(luò)還不錯(cuò)？精心設(shè)計(jì)和隨機(jī)搜索到底哪個(gè)好？有什么建議？總結(jié)，隨機(jī)在一些相對(duì)新的、未知的領(lǐng)域，會(huì)更好一點(diǎn)。
浣軍教授：學(xué)術(shù)界，要有對(duì)認(rèn)識(shí)的認(rèn)識(shí)，要經(jīng)常反思。如果對(duì)問題的理解，調(diào)參是基本技能，如果對(duì)問題深入理解，隨機(jī)搜索也不失為一種好的方式，空間定下來，隨機(jī)搜索可以在固定的時(shí)間內(nèi)給一個(gè)不錯(cuò)的結(jié)果。多目標(biāo)搜索，要考慮能耗、響應(yīng)時(shí)間、準(zhǔn)確度，此時(shí)若主要考慮實(shí)時(shí)，根據(jù)不同的搜索策略。何凱明的大作，說明了隨機(jī)搜索效果還算不錯(cuò)，其實(shí)，這種反思永遠(yuǎn)是對(duì)的，人工智能真的是需要很大的算力、很好的設(shè)計(jì)才會(huì)得到最好的結(jié)果嗎？
雷鳴教授：AutoDL能干很多東西，那人類還要學(xué)什么呢？還需要投向人工智能領(lǐng)域嗎？
浣軍教授：人工智能處于初級(jí)階段，目前還是需要人工，網(wǎng)絡(luò)結(jié)構(gòu)對(duì)數(shù)據(jù)的敏感性還是不夠。如果12年有博士在做深度學(xué)習(xí)，那么，他17年才會(huì)畢業(yè)，其實(shí)12年那時(shí)候真正做深度學(xué)習(xí)的人很少很少，所以還是需要的。
雷鳴教授：對(duì)有志于人工智能，這只是一個(gè)工具，在一些新領(lǐng)域，還是需要繼續(xù)學(xué)習(xí)，還有很多很多領(lǐng)域，我們處于非常早期的階段，AutoDL也是一個(gè)非常重要的方向。如何看待神經(jīng)生物學(xué)和人工智能數(shù)學(xué)科學(xué)？會(huì)有哪些預(yù)期的突破？
浣軍教授：比如目標(biāo)檢測(cè)，人做目標(biāo)檢測(cè)的時(shí)候，是基于多通道的，然后注意力集中后進(jìn)一步檢測(cè)，其實(shí)卷積神經(jīng)網(wǎng)絡(luò)矩形感受視野，而人類的感受視野不會(huì)一直是矩形的。人類證明了存在這樣一個(gè)網(wǎng)絡(luò)，那么，我們能不能設(shè)計(jì)一個(gè)系統(tǒng)完成多個(gè)任務(wù)。是建立在數(shù)學(xué)基礎(chǔ)上與視覺科學(xué)又有不同。
雷鳴教授：人類的腦結(jié)構(gòu)，比如神經(jīng)科學(xué)，最早的神經(jīng)網(wǎng)絡(luò)其實(shí)就是依據(jù)而來。算力的增長(zhǎng)，量變到質(zhì)變的圖片。如果層數(shù)不多的話，8~10層，最初的層，根據(jù)光柵的原理在找邊框，隨著網(wǎng)絡(luò)加深依次檢測(cè)更具體的東西。畢竟，人腦是靠生物學(xué)，而神經(jīng)網(wǎng)絡(luò)是基于數(shù)學(xué)的，是否需要完全理解大腦才能做出一個(gè)人造的超級(jí)大腦，本著科學(xué)的精神，結(jié)果在沒有出來以前，我們都不能否定。比如飛機(jī)，現(xiàn)在的飛機(jī)的并不是扇動(dòng)飛行的，所以我們不能完全照抄，但是也是要有模仿的部分。
浣軍教授：人工智能的階段，現(xiàn)在是最有意思的階段。神經(jīng)網(wǎng)絡(luò)是生物學(xué)啟發(fā)的，比如Hinton在用類比的方式，并沒有純數(shù)學(xué)去建立，NLP領(lǐng)域，必須要理解語言的結(jié)構(gòu)，大家都在小數(shù)據(jù)上總結(jié)出來的類似的結(jié)構(gòu)，這需要大家自己去探索，要保持一個(gè)開放的心態(tài)、快速學(xué)習(xí)的能力、探索的能力，認(rèn)知一件事要有多種可能性。

個(gè)評(píng)：很多事情需要大家自己去探索，但要保持一個(gè)開放的心態(tài)、快速學(xué)習(xí)的能力、探索的能力，認(rèn)知一件事要有多種可能性。何凱明的大作，說明了隨機(jī)搜索效果還算不錯(cuò)，其實(shí)，這種反思永遠(yuǎn)是對(duì)的，人工智能真的是需要很大的算力、很好的設(shè)計(jì)才會(huì)得到最好的結(jié)果嗎？保持疑問，帶著反思前進(jìn)！
備注：以上對(duì)話環(huán)節(jié)的文本編輯，為博主總結(jié)，與原文稍微有異，請(qǐng)以原文錄音為準(zhǔn)。時(shí)間緊迫，如有錯(cuò)誤，歡迎網(wǎng)友留言指出、探討。

?

?

現(xiàn)場(chǎng)圖片

小編正在使勁整理中……

?

?

?

?

演講PPT

小編正在使勁整理中……

?

?

人工智能布局

• 平臺(tái)層：AI平臺(tái)與生態(tài)
• 認(rèn)知層：語言與知識(shí)
• 感知層：語音、視覺，AR/VR
• 基礎(chǔ)層：大數(shù)據(jù)、算法、大計(jì)算
  ?

語音

• 語音識(shí)別
• 語音合成
• 語音交互：百度輸入法
• 圖像技術(shù)：
• 視頻理解：

多元異構(gòu)知識(shí)圖譜

• 語言與知識(shí)技術(shù)：
• 從海量數(shù)據(jù)構(gòu)建超大規(guī)模知識(shí)圖譜
• 醫(yī)療圖譜構(gòu)建

句法分析與意圖理解：機(jī)器翻譯

基于知識(shí)增強(qiáng)的語義建模ERNIE

• 智能寫作
• 多模態(tài)深度語義理解
• 基于知識(shí)圖譜的視頻理解

百度AI開放平臺(tái)：PaddlePaddle，案例比如農(nóng)田病蟲害監(jiān)測(cè)。

人工智能正在成為這個(gè)時(shí)代和核心驅(qū)動(dòng)力

?

?

AutoDL

Brief Introduction to Baidu Big Data Laboratory?

AutoDL: Transform Deep Learning Model Design to Affordable Commodity

• Automated Neural Network Architecture Design is a critical component in AI research and development
• Baidu AutoDL has three parts:
• Research Topics Sample

AutoDL design Architecture
Reinforcement Learning in AutoDL?
Major Challenges:?

• High dimensional search space -
• It takes long time to train a student network?

Regularization is Critical in Preventing Overfitting?

• Deep Convolutional Neural Networks (CNNs) are always over-parameterized
• Overfitting is a serious problem in Neural Architecture Search, usually optimizing over an exponentially-large space
• We have utilized a group of regularization methods such as - Mix-up - Shake-shake
• We developed Rademacher complexity based regularization with proved generalization guarantee?

AutoDL Application: De Novo Network Design

AutoDL: Deep Learning Transfer Using Feature Map With Attention?

• Motivation: unactivated chaimel re-usage?
• Based on the idea of SPAR (using starting point as the reference) and knowledge distillation?
• Preserving transferable channels and reusing tmtransferable channels using an attention mechanism with feature map regularization?

AutoDL Edge: 3D-Filtermaps?

• CNNs learn a 3D-Filtermap. instead of a set of independent filters. in each convolution laver.?

AGAN : Automated GAN Architecture Search
With AGAN the benefits are

• (1) stabilizing GAN training,
• (2) improving its quality, and
• (3) providing customized models?

StyIeNAS: NAS for Universal Photorealistic Style Transfer
? ? ? StyIeNAS adopts (1) a carefully designed search space, which enable end-to-end photorealistic style transfer; (2) a map-reduce based effective parallel evolutionary NAS algorithm; (3) an objective based on a supervisory oracle and the knowledge distillation strategy. Our StyIeNAS achieves state-of-the-art performance in terms of stylization effects and computing time for photorealistic style transfer tasks.?

Image Resnet-50

Deep Neural Networks can be Easily Fooled
? ? ? They are able to classify objects in images with near-human-level performance most of the time, but can perform very poorly on seemingly easy cases.(Nguyen et al., 2015)?
AutoDL-Safety

• Comparing to classical models where we know the architecture and parameters , AutoDL may provide a useful shield for adversarial attacks?

?

?

?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的AI公开课：19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。