AI公開課：19.05.29 浣軍 百度大數據實驗室主任《AutoDL 自動化深度學習建模的算法和應用》課堂筆記以及個人感悟

?

導讀
? ? ? ?浣軍博士，漢族，1975年出生于江蘇蘇州，華人科學家，教授，博士生導師，國際著名人工智能專家。歷任美國堪薩斯大學電子工程和計算機系終身講席正教授、博士生導師、美國國家科學基金委大數據學科主任、葛蘭素制藥高級訪問科學家。現任百度大數據實驗室主任。
? ? ? ?2006年在北卡來羅納大學計算機系獲得博士學位后加入堪薩斯大學，歷任助理教授、副教授、正教授、講席正教授。?
浣軍博士擔任堪薩斯大學生物信息學和計算生命科學實驗室主任，國家分子探針研究中心化學信息學部主任等職。?
? ? ? ?2015-2018年 任美國國家科學基金委，計算和信息學部，擔任大數據學科主任，主管大數據項目規劃和審批。
? ? ? ?2018年1月18日，加入百度研究院，擔任百度大數據實驗室主任 。浣軍教授在百度提出開放普惠AI理念，主持開發了Baidu AutoDL: Automated Deep Learning，讓廣大中小初創企業個人無需特殊軟硬件設備和工程團隊也能享受到百度開發的先進AI技術。
? ? ? ?研究領域：浣軍博士長期從事AI、大數據、數據挖掘和機器學習的理論、算法和應用的研究，研究領域涉及深度學習、大數據、生物信息學等。

?

目錄

?

問答環節

現場圖片

演講PPT

人工智能布局

AutoDL

---

?

?

問答環節

小編正在使勁整理中……
雷鳴教授：模型的訓練，類似啟發式搜索。初始的模型是什么？
浣軍教授：按照不同模式需要進行因地制宜，比如Resnet，大體機構要是知道的，搜出來的是一個cell，比如七個節點的模塊，在這個模板上進行優化，然后將多個cell結合起來。第三個是，比如從Resnet開始，進行局部修改，split，把一層或者改為兩層，通過這樣得到優化的結果。
雷鳴教授：第一個是有一個大體上框架，然后往里面填框架。第二個是模塊化的替換，相當于換個發動機或者什么的，比如火車，有可替換性，然后根據不同組合進行作業；第三個，局部分析修改。下一個問題，對于數據量有什么要求么？
浣軍教授：訓練一次幾個小時，如果比如訓練需要3天。整個訓練比較大，可以理解為，利用AutoDL，找組件，利用人類的某種組合進行優化。
雷鳴教授：有點類似金融數據分析，先找這些特征，然后綜合這些特征，然后通過二級市場操作，會得到有效利用。能不能講一講在其他推薦、大數據處理領域上，如何應用？
浣軍教授：應該說，視覺領域需求比較強烈，但是NLP上也有很多應用，比如設計RNN或者優化LSTM算法。比如遷移學習，利用Bert訓練模型，然后遷移到某個具體場景上。關于推薦系統上，其實，模型不見得很深，尤其對于FE處理，這一塊特別重要。
雷鳴教授：在應用上，比如根據遷移學習或者模型壓縮，AutoDL有很多有意思的應用，比如還有其他的那些應用？
浣軍教授：在分類上，除了圖像分類。圖像分割領域，比如最近百度語音合作做的，城管的項目，通過攝像頭進行識別，識別垃圾不應該出現在不該出現的地方。語義分割領域，工業質檢找到產品缺陷，困境是都是小樣本、弱監督。弱標簽并不是不標記，而是簡化標記。安全領域，如何防止別人攻擊，如何模擬攻擊。風格遷移領域，去燥、超分辨率等，做特征分層，優化k層的識別。
雷鳴教授：放眼未來，未來會有哪些潛在的技術以及如何影響產業？
浣軍教授：理論上，神經網絡的結構和功能之間的關系，如何通過理論進行刻畫，從而用來指導神經網絡的設計。對樣本的選擇，如何優化網絡，比如數據的選擇、優化器的選擇。比如要識別某種動物、識別某種疾病，這對于人類來說，是用的一套系統進行的識別，如何在任務不確定的情況下，也有比較好的模型。這個方向若有擴展，能夠有更大的范圍，更能優化模型。
雷鳴教授：探討所謂深度學習的人才，哈哈，其實就是調整各模型，如果調參被AutoDL搶走，那么我們未來的人才應走向何方？
浣軍教授：雖然現在的學生只會調參，哈哈，比如我們可以建立一個車床，讓學生的加工精度進行提高，使大家自我能力提升。
雷鳴教授：還要理解網絡的結構，嘗試改一下網絡的結構。AutoDL有沒有可能會用于一些先驗知識？
浣軍教授：比如做氣象，天氣預測，它是有一個很強的物理機制的，如果單純去學習，它需要的數據量要很大的。可以考慮混合建模。除了模型嵌入，還有知識嵌入，比如要預測斑馬，原先不知道斑馬，實際上做預測的時候，就不需要大量的斑馬圖像。能夠有效的降低對數據集的依賴。很多的知識，比如夸模態，既有圖像又有語言。
雷鳴教授：最近何何凱明的大作，隨機的網絡還不錯？精心設計和隨機搜索到底哪個好？有什么建議？總結，隨機在一些相對新的、未知的領域，會更好一點。
浣軍教授：學術界，要有對認識的認識，要經常反思。如果對問題的理解，調參是基本技能，如果對問題深入理解，隨機搜索也不失為一種好的方式，空間定下來，隨機搜索可以在固定的時間內給一個不錯的結果。多目標搜索，要考慮能耗、響應時間、準確度，此時若主要考慮實時，根據不同的搜索策略。何凱明的大作，說明了隨機搜索效果還算不錯，其實，這種反思永遠是對的，人工智能真的是需要很大的算力、很好的設計才會得到最好的結果嗎？
雷鳴教授：AutoDL能干很多東西，那人類還要學什么呢？還需要投向人工智能領域嗎？
浣軍教授：人工智能處于初級階段，目前還是需要人工，網絡結構對數據的敏感性還是不夠。如果12年有博士在做深度學習，那么，他17年才會畢業，其實12年那時候真正做深度學習的人很少很少，所以還是需要的。
雷鳴教授：對有志于人工智能，這只是一個工具，在一些新領域，還是需要繼續學習，還有很多很多領域，我們處于非常早期的階段，AutoDL也是一個非常重要的方向。如何看待神經生物學和人工智能數學科學？會有哪些預期的突破？
浣軍教授：比如目標檢測，人做目標檢測的時候，是基于多通道的，然后注意力集中后進一步檢測，其實卷積神經網絡矩形感受視野，而人類的感受視野不會一直是矩形的。人類證明了存在這樣一個網絡，那么，我們能不能設計一個系統完成多個任務。是建立在數學基礎上與視覺科學又有不同。
雷鳴教授：人類的腦結構，比如神經科學，最早的神經網絡其實就是依據而來。算力的增長，量變到質變的圖片。如果層數不多的話，8~10層，最初的層，根據光柵的原理在找邊框，隨著網絡加深依次檢測更具體的東西。畢竟，人腦是靠生物學，而神經網絡是基于數學的，是否需要完全理解大腦才能做出一個人造的超級大腦，本著科學的精神，結果在沒有出來以前，我們都不能否定。比如飛機，現在的飛機的并不是扇動飛行的，所以我們不能完全照抄，但是也是要有模仿的部分。
浣軍教授：人工智能的階段，現在是最有意思的階段。神經網絡是生物學啟發的，比如Hinton在用類比的方式，并沒有純數學去建立，NLP領域，必須要理解語言的結構，大家都在小數據上總結出來的類似的結構，這需要大家自己去探索，要保持一個開放的心態、快速學習的能力、探索的能力，認知一件事要有多種可能性。

個評：很多事情需要大家自己去探索，但要保持一個開放的心態、快速學習的能力、探索的能力，認知一件事要有多種可能性。何凱明的大作，說明了隨機搜索效果還算不錯，其實，這種反思永遠是對的，人工智能真的是需要很大的算力、很好的設計才會得到最好的結果嗎？保持疑問，帶著反思前進！
備注：以上對話環節的文本編輯，為博主總結，與原文稍微有異，請以原文錄音為準。時間緊迫，如有錯誤，歡迎網友留言指出、探討。

?

?

現場圖片

小編正在使勁整理中……

?

?

?

?

演講PPT

小編正在使勁整理中……

?

?

人工智能布局

• 平臺層：AI平臺與生態
• 認知層：語言與知識
• 感知層：語音、視覺，AR/VR
• 基礎層：大數據、算法、大計算
  ?

語音

• 語音識別
• 語音合成
• 語音交互：百度輸入法
• 圖像技術：
• 視頻理解：

多元異構知識圖譜

• 語言與知識技術：
• 從海量數據構建超大規模知識圖譜
• 醫療圖譜構建

句法分析與意圖理解：機器翻譯

基于知識增強的語義建模ERNIE

• 智能寫作
• 多模態深度語義理解
• 基于知識圖譜的視頻理解

百度AI開放平臺：PaddlePaddle，案例比如農田病蟲害監測。

人工智能正在成為這個時代和核心驅動力

?

?

AutoDL

Brief Introduction to Baidu Big Data Laboratory?

AutoDL: Transform Deep Learning Model Design to Affordable Commodity

• Automated Neural Network Architecture Design is a critical component in AI research and development
• Baidu AutoDL has three parts:
• Research Topics Sample

AutoDL design Architecture
Reinforcement Learning in AutoDL?
Major Challenges:?

• High dimensional search space -
• It takes long time to train a student network?

Regularization is Critical in Preventing Overfitting?

• Deep Convolutional Neural Networks (CNNs) are always over-parameterized
• Overfitting is a serious problem in Neural Architecture Search, usually optimizing over an exponentially-large space
• We have utilized a group of regularization methods such as - Mix-up - Shake-shake
• We developed Rademacher complexity based regularization with proved generalization guarantee?

AutoDL Application: De Novo Network Design

AutoDL: Deep Learning Transfer Using Feature Map With Attention?

• Motivation: unactivated chaimel re-usage?
• Based on the idea of SPAR (using starting point as the reference) and knowledge distillation?
• Preserving transferable channels and reusing tmtransferable channels using an attention mechanism with feature map regularization?

AutoDL Edge: 3D-Filtermaps?

• CNNs learn a 3D-Filtermap. instead of a set of independent filters. in each convolution laver.?

AGAN : Automated GAN Architecture Search
With AGAN the benefits are

• (1) stabilizing GAN training,
• (2) improving its quality, and
• (3) providing customized models?

StyIeNAS: NAS for Universal Photorealistic Style Transfer
? ? ? StyIeNAS adopts (1) a carefully designed search space, which enable end-to-end photorealistic style transfer; (2) a map-reduce based effective parallel evolutionary NAS algorithm; (3) an objective based on a supervisory oracle and the knowledge distillation strategy. Our StyIeNAS achieves state-of-the-art performance in terms of stylization effects and computing time for photorealistic style transfer tasks.?

Image Resnet-50

Deep Neural Networks can be Easily Fooled
? ? ? They are able to classify objects in images with near-human-level performance most of the time, but can perform very poorly on seemingly easy cases.(Nguyen et al., 2015)?
AutoDL-Safety

• Comparing to classical models where we know the architecture and parameters , AutoDL may provide a useful shield for adversarial attacks?

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的AI公开课：19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。