8 月 7 日-8 月 9 日，2020 年全球人工智能和機器人峰會（簡稱“CCF-GAIR 2020”）在深圳如期舉辦！CCF-GAIR 由中國計算機學會（CCF）主辦，香港中文大學（深圳）、雷鋒網聯合承辦，鵬城實驗室、深圳市人工智能與機器人研究院協辦，以“AI 新基建產業新機遇”為大會主題，致力打造國內人工智能和機器人領域規模最大、規格最高、跨界最廣的學術、工業和投資領域盛會。

　　8 月 7 日下午，在「人工智能前沿專場」上，京東集團副總裁、人工智能研究院常務副院長、及智能人機交互業務負責人何曉冬博士進行了題為「多模態人機對話與交互: 理解、創作、決策」的演講。

　　何曉冬博士的演講圍繞人機對話系統的發展與應用展開，結合對“AI 新秀”GPT-3 的技術探討，針對 GPT-3 等超大規模語言模型缺少知識和邏輯推理能力以及主要還局限于文本數據的短板，提出將高復雜的知識推理與決策任務及多模態的信息處理技術作為人工智能未來發展的驅動力。何博士還著重強調了下一步可在知識驅動的復雜任務導向人機對話和超出文本的多模態數據和信息融合兩個方向發力，推動多模態人機對話與交互，并將人機對話系統落實到產業應用上，包括智能客服、智能交互營銷、智能消費媒體等。

　　以下是何曉冬博士在大會的演講實錄，AI 科技評論進行了不修改原意的整理和編輯：

　　一、人機對話的構想與進展

　　70 年前提出圖靈測試時，圖靈選擇將人與機器之間的對話作為判斷機器是否具有智能的標準。他的選擇并不是隨意的。圖靈認為對話是人特有的高級智能，只有當機器能夠與人進行長時間對話時，才稱得上是擁有了類人的智能。

　　人機對話不但是一個科學問題，也是一個技術問題。

　　自計算機發明以來，研究人員一直在致力于如何克服“人機交流障礙”，如何使人和機器的交流變得越來越簡單。人機交互技術每往前進一步，使用計算機的人就增加幾個數量級，產業價值也往往隨著快速增長。下一步，我們希望計算機能與人類進行更加自如的智能的交流，從而讓機器能更好的幫我們完成更多更復雜的任務。

　　距離圖靈測試提出 16 年后，MIT 開發出第一個人機對話機器人 Eliza。但當時它只是簡單模仿人的行為，談不上智能。到上世紀 90 年代，人機對話進入了一個新的發展階段，大家開始討論怎么讓計算機理解人類意圖與執行命令。2012 年，以蘋果的 Siri 為代表的智能個人助理成為主流，隨后出現更多的對話機器人，如微軟小冰等等。這些機器人不但能完成你下達的任務，還能逐漸跟用戶建立情感上的聯系。我們預想，今后會出現越來越多能與人自由交互的機器人，人類將真正與機器人共存。

　　人機對話領域一直十分活躍。今年 1 月，谷歌開發了一個大規模端到端的對話模型，Facebook 也在 4 月發布了一個對話模型。這些對話模型都是基于深度學習結構和 Transformer 變種的模型大規模訓練出來的，在閑聊等場景表現出很強的應答有效性和精確性。

　　二、GPT-3 的機遇與挑戰

　　人機交互在文字自動生成方面也有了較大進展，如 GPT-3。我認為 GPT-3 是研究和工程結合的一個典范。雖然 GPT-3 本質上仍基于 Transformer 模型，但 OpenAI 在開發的過程中運用了 3000 億單詞進行訓練，模型內含 1750 億參數，覆蓋 50 多個任務，用到 28.5 萬個 CPU 核和 1 萬個 V100GPU 做訓練，最終取得了一個非常好的表現。GPT-3 讓大家開始幻想：機器還有多久能模擬人的智能？

　　目前來看，仍是長路漫漫。僅僅從“硬件”角度來看，人類大腦有 860 億神經元、100-1000 萬億聯接，能處理的任務也遠遠超過 GPT-3。

　　GPT-3 的強大有目共睹。它可以執行很多任務。如果讓它生成某個特定的網頁，它不但能生成網頁，還能生成網頁對應的 HTML 代碼。它也可以直接轉換語言的風格。比如你寫一個很幽默的句子，GPT-3 很容易就能將句子的風格轉變成嚴肅的 style。它還可以寫作、聊天、翻譯、問答等等。如果給它看棋譜，它還會下象棋。按照 Open AI 的統計，如果讓 GPT-3 生成一段很長的故事，再讓人判斷這段故事是人寫還是機器寫，發現人類判斷準確的概率只有 52% 左右。這是一個令人非常感嘆的結果。

　　但 GPT-3 處理另外一些簡單工作的表現并不是特別好。如果你讓它做一位數、兩位數的加法，正確率基本能達到百分之百，但如果你讓它用 5 位數加 5 位數，它的正確率就會迅速下降。這一點很奇怪。如果一個小孩已經學會加法，一般不會再出現很大的錯誤，除非是粗心。但是計算機是不會粗心的。再比如，如果用戶去問 GPT-3 新冠疫情會在什么時候結束，它會給你一個答案: 2023 年 12 月 31 日。當然，我們現在沒法驗證這個答案的可信度，但這不是關鍵，關鍵是 GPT-3 依據什么樣的證據來給出這個答案？如果它給不出證據的話，我們怎么相信這個答案是有效的？這說明計算機并沒有真正做到邏輯理解和推理，它只是通過模式的匹配和某種泛化的規范的記憶來得到結果。

　　諸如 GPT-3 之類的超大規模語言模型實驗給我們帶來非常有趣的思考和挑戰：

　　1、技術路線

　　人類智能/AI 的許多問題與不完備規則相關。對話系統就是一個典例。它不像圍棋也不像撲克。它沒有完備的規則和知識邊界。因此，我們可能會問：端到端的架構能力邊界在哪里？超大規模的模型對知識有海量的記憶能力，展現出很強的泛化能力，在開放領域的對話能力出色，精確性、有效性的表現還不錯。但這是因為它有很強的歸納能力和泛化記憶能力。在推演和演繹方面，超大規模語言模型在符號推理、輸出可控和可解釋方面還較弱。這是我們下一步需要聚焦的。

　　2、評測指標

　　我們希望機器擁有擬人的智能，但我們怎么判斷擬人呢？是在對話層次上還是整體體驗上判斷？在實現傳統的閑聊時，我們希望機器所說的每句話都能像人一樣，分辨不出是人寫的還是機器寫的。如果從端到端來看，我們做閑聊的社交機器人，我們希望它在交流層次上能夠擬人，讓我們有一種陪伴的感覺。在做任務導向的機器人的時候，我們更關注的是任務達成，并希望機器人能在達成和效率上反映整體的對話體驗，而不是簡單評估每一個回復是不是對的。

　　3、系統任務

　　什么是任務？對話的一個核心問題是理解語言，但理解語言并不是對話的最終極目標。在很多的復雜人機對話和交互里面，交互是多模態的，另外目的也超過了簡單的理解意圖。比如說咨詢導購，這是一種很常見的人和人之間對話的任務，但這個任務的目的不只是為了理解用戶、回答用戶咨詢，很多時候是要完成一個“銷售”的任務。這是更深層次的一個系列的博弈和決策，最后使得銷售的任務可以達成。從這個角度來說，文本只是一種呈現形式。

　　三、GPT-3 后，人機交互何去何從？

　　我認為 AI 不僅可以進行簡單的淺層的任務，還可以嘗試更多需要知識驅動的任務，比如復雜的任務型的對話系統。這類任務需要領域知識及基礎常識的支撐，需要深度的推理與決策，不能通過簡單泛化記憶模型來解決。另外一個是多模態數據。模態交叉將帶來比目前高幾個數量級的數據，而跨模態的數據信息融合 (pooling)和聯接(grounding)將能使無監督學習(predictive learning) 更高效的獲得更通用的模型。比如通過海量文本、語音、圖像、視頻數據建設跨模態數據集和知識庫。多模態數據可能可以幫助我們的模型超越語言，跟實體世界進一步結合，幫助我們更好地獲得人類世界的知識。

　　1）知識驅動的復雜任務導向人機對話

　　在用戶在與機器人導購或銷售聊天時，表層是交互、關懷、交流，但在底層則需要大量的技術支撐，包括多輪對話管理、認知智能、情感智能和推理與決策等。

　　比方說，如果顧客表示想給他的父母買一臺電視機當節日禮物，客服機器人馬上判斷出來，并會結合情景判斷父母的年齡可能比較大，推薦更合適的商品。接著客戶可能會驚訝為什么推薦的電視機這么貴，這時對話機器人能夠理解客戶的真實意圖——他不是不買，而是對價格有點失望，需要一個解釋。于是機器人通過信息的挖掘，解釋為什么這個商品更適合他，甚至進一步給用戶推薦超值優惠活動，幫助顧客開心地完成禮物購買，整個對話達到雙贏的結局。

　　對話不光是語言理解，還是一種博弈和決策。比如說，我們需要 AI 學會怎么做金牌銷售，從大量數據中學習銷售的語言技巧和對話策略以優化全局銷售的結果為模型學習的目標。我們在看對話的時候不止是看到語義理解和語音識別，更多的是了解對話的具體目的和任務。這一目標的實現需要具體的技術支持。

　　自然語言任務的決策優化是一個很難的問題。AlphaGo 是一項很偉大的工作，但圍棋的執行空間比較有限，每一步只能選 361 個點。從語言的角度來說，對話的每一句話可以有無限的選擇，在這種情況下你怎么進行強化學習、掌握最好的規劃策略？這是一個比較 open 的問題。

　　此外，人機對話能否基于很長的上下文做意圖識別。比如說，用戶說了很多話，哪些字或者哪些句子是真正定義這個用戶的意圖的，我們需要精確分辨出來并給予一定的可解釋性。

　　除了分辨意圖之外，我們還要對自然語言的語義進行表征。我們需要把每一個自然語言的描述（最好能把它的語義）用一個向量提取出來，在同一個語義空間表示。當不同的人表達不同的方式時，只要意圖相近就很容易判斷出來。

　　另外，我們可以通過在連續空間里面投影我們的知識，再把這個知識的點和整個知識圖譜都投影到一個連續語義空間里面，在這個空間里面做很多直接的計算，判斷這個知識的一致性，并進行知識的補全。

　　2）超出文本的多模態數據和信息處理

　　多模態的智能和多模態的數據迎來了很多新的機會。

　　如果我們想理解一個實體，比如說奧巴馬，我們可以通過讀文字、看圖片或者聽他的演講來理解他，甚至可以通過看他和他周圍的親戚、黨派、出生地等等知識對他有一個更好的了解。這些信息以前分屬于不同的模態，所以研究起來很分裂。

　　基于新的深度學習模型，我們有可能把不同模態的信息投影到統一的語義空間，在這個空間里面做很多計算，幫助我們從各個角度理解這些信息。比如說，把文字和圖片投向同一個空間，這樣很快就可以知道文字和圖片是不是描述同樣的意思，然后生成一張圖片，迅速用語言模型來描述它真正的視覺信息，幫助我們更好地理解語言和視覺之間的互相管理。

　　我們還可以通過建立跨模態知識庫連接視覺、語言和實體的信息。這是我們之前做的一個全球名人數據庫 “MS-Celeb-1M”（見下圖），把人的圖像信息和知識圖譜里面的實體信息進行連接。在這張圖片里，我們不光識別出一個人，我們還知道她是 1982 年出生的，是一個美國人，在某一個劇里演了某個角色，這樣我們對這個實體的人的了解知識迅速豐富起來。

　　除此之外，我們可以通過多模體做視覺信息到語義推理的問答。基于一張簡單的圖片或者問題，我們有沒有可能建造一個模型幫助我們回答疑問？這就意味著我們需要建設一系列語言模型、視覺模型，特別是需要建立一個多層的語言和視覺信息交換的模型，可以提取出最好的信息，幫助我們在語言和視覺之間聯合理解蘊涵的多模態信息。

　　我們還模擬人的注意力機制提出了“bottom-up and top-down attention “ 機制，讓語言和視覺跨模態的信息融合和理解更高效。

　　我們還可以先理解語言再創作圖畫。我們把“一只紅羽毛白肚子點短咀小鳥”這句話梳理文字給 AI 的時候，有沒有可能 AI 在畫這只小鳥的時候，學會對應看那個語言對應的語義，知道什么地方應該畫什么顏色，比如肚子上要畫白色，羽毛上畫紅色，在頭部畫一個短嘴，最后憑空合成這么一張小鳥圖片。

　　通過一系列的模型，我們可以在視覺和語言這兩個最重要的模態中間建立信息的交換、融合。我們也可基于這類模型做藝術創作，讓計算機學會怎么創作一個藝術地圖、怎么寫書法。

　　大家知道《蘭亭集序》開頭的 4 個字“永和九年”（如下圖）。這里面有 4 個字是王羲之寫的，另外四個是 AI 模仿王羲之的風格寫的。大家能看出哪些是王羲之脅的，哪些是 AI 寫的？確切來說，圈出來的字是 AI 寫的。AI 書寫還有一些瑕疵，比如“九”字是有瑕疵的，“和”“年”這兩個字則十分完美。而且 AI 還可以寫出帶有不同情緒的書法，興奮時寫得比較輕快，悲傷時寫得比較頓挫。

　　基于這種新的多模態交互技術，配上之前的人機對話任務，有可能讓我們的模型在 GPT-3 后更向前走一步。

　　【 圖片來源：null所有者：null 】

　　上圖所示是京東的一個人類顧客與機器客服的交流，交流過程中雙方使用了大量圖片直接表達信息。

　　這是一個實際的產業應用的例子。在我們生活中，人和人、人和客戶交互，肯定不止是語言和對話，肯定有多模態、視頻、圖像。有時候圖片表達比文字表達更直接有效，這也從應用角度反過來驅動我們更好地把對話或者語言模型進一步向多模態智能模型提升。

　　四、人機對話系統落地

　　產業界對人機對話系統的需求很大。在過去的幾年里也出現了一些特定領域的應用，比如京東的智能客服、微軟小冰、亞馬遜智能音箱等等。我們發現在特定領域確實對話系統通常表現好，在很多時候能提升我們的工作效率，降低工作成本，甚至可以提升顧客體驗。但是在開放領域、對可靠性有很高要求的時候，對話系統還是一個很大的挑戰。

　　京東深耕智能對話與交互平臺的應用，比如智能客服、智能營銷、導購、智能消費媒體等等，希望把人機對話技術在產業界落地，創造新價值，引發新思考。

　　我們將 TTS、ASR、語義理解跟工單結合，打通工單系統與快遞系統，謀求一體化，給客戶提供一個比較無縫的售中/售后服務體驗。

　　銷售 AI 比客服 AI 的發明過程更難。客服只負責讓你滿意，銷售必須讓顧客下單。我們在銷售智能這一塊投入了許多，比如摸索如何通過多模態的賣點營銷，把商品最亮的亮點給用戶一下提出來；如何通過對話式的商品推薦，把最合適的商品推薦給用戶；我們甚至可以通過智能系統促進下單成交。比如用戶咨詢以后，如果有一段時間沒有反應，我們可以再跟進一下。比如上次咨詢某個產品很好，現在它的優惠快過期了，用戶要不要下單。這是我們從金牌銷售的技巧中學到的，但我們并不是讓金牌銷售手把手教 AI，而是通過大量的學習、甚至通過某種程度的強化學習，讓 AI 從金牌銷售那里學到該怎么交流，怎么對話能更有效。我們內部也在看人工導購和通過機器輔助導購的轉化率，發現機器導購可以帶來轉化率的直接提升。

　　在衡量對話系統成功的指標時，我們發現，在導購場景下，顧客和客服聊的時間越長，他下單的概率越大；但如果是售后場景，顧客跟客服聊得越長，他越不滿意。

　　除了對話營銷之外，我們還可以通過多模態的交互技術生成消費媒體。這個可以看成是廣義的對話，它不是一輪一輪的應答，而是某種程度上產生信息的交互，使得用戶感知到這些信息，促進用戶做下一輪的行為。這些是針對新的商品在不同的情況下給出不同的銷售文案（如下圖），在京東網頁客服對話的情景下，用不同的形式、不同的風格、不同的語氣來表達商品的特點，使用戶更能體會到商品的優點。我們達到了風格多變、可控的結果。

　　我們還可以通過數字人多模態交互，綜合語音、情緒、視覺形象等等做一種更加自然、更加擬人化的人和機器的交互。通過人工智能技術，我們希望可以為數以億計的每一個商品都配上一個帶貨主播和專屬客服。

　　此外，我們通過智能對話技術賦能 IoT 設備，使得硬件更好地連接起來，使得我們可以開拓更多的新市場。

　　從研究到應用之間往往存在一個期望的不匹配，一個“技術應用鴻溝”。很多時候，當一個新技術剛出來，人們往往希望在短時間內就看到它的爆發或者巨大的價值增長，但實際上，我們往往高估了它短期帶來的價值，但低估了它的長遠價值。因為很多時候，單項新技術的價值往往是有限的，需要跟其他技術連接之后，才能構成一個技術的網格、真正解決我們的問題，提高價值。比如很多年前語音識別就能提供 API，但是價值一直沒有得到很好的體現。如果我們把語音識別、語言理解、計算機視覺、IoT 和云計算綜合起來，就可以創造更大的能力，解決更大的問題，帶來更大的價值。

　　另一方面，新的技術是需要一個應用生態的。如果一項技術只是為了服務單一的應用，開發技術的成本往往會顯得特別高，沒有被攤平。如果有一個繁榮的應用生態，技術可以復用，那么技術開發成本就會迅速降低，產生的價值也會繼續增長。所以在探索智能對話和交互技術的時候，我們會考慮客服、交互營銷、消費媒體、創意產業、智能硬件。長期來看，未來 10 年 AI 技術帶來的價值將呈非線性的迅速增長，而目前來看，我們需要進一步促進技術聯接和培養應用生態。參考文獻：

　　Computing Machinery and Intelligence (Alan Turing, 1950)

　　Anderson, He, Buehler, Teney， Johnson, Gould, Zhang, “Bottom-Up and Top-Down Attention”， CVPR 2018

　　Adiwardana, Luong, So, Hall, Fiedel, Thoppilan, Yang, Kulshreshtha, Nemade, Lu, Le, "Towards a Human-like Open-Domain Chatbot"， https://arxiv.org/abs/2001.09977

　　Brown et al.， “Language Models are Few-shot learners,” 2020.

　　Vaswani et al.， "Attention is all you need." 2017

　　Fang, Gupta, Iandola, Srivastava, Deng, Dollar, Gao, He, et al.， “From Captions to Visual Concepts and Back,” CVPR2015

　　Guo, Zhang, Hu, He, Gao, “MS-Celeb-1M”， ECCV 2016

　　He, Chen, He, Gao, Li, Deng, Ostendorf, “Deep Reinforcement Learning with a Natural Language Action Space,” ACL2016

　　Huang, He, Gao, Deng, Acero, Heck, “Deep Structured Semantic Model”， CIKM2013

　　Liu et al.， Mappa Mundi: An Interactive Artistic Mind Map Generator with Artificial Imagination, IJCAI 2019 雷鋒網

　　Chen et al.， MaLiang: An Emotion-Driven Chinese Calligraphy Artwork Composition System, ACM MM 2020 雷鋒網

　　Smith, Williamson, Shuster, Weston, Boureau, “Can You Put it All Together: Evaluating Conversational Agents' Ability to Blend Skills," ACL 2020

　　Xu, Zhang, Huang, Zhang, Gan, Huang, He, “AttnGAN,” CVPR 2018

　　Yang, He, Gao, Deng, Smola, “Stacked Attention Networks,” CVPR 2016

　　Yang, Yang, Dyer, He, Smola, Hovy， “Hierarchical Attention Networks”， NAACL 2016

　　Yang, Yih, He, Gao, Deng, “Embedding entitles and relations for learning and inference in knowledge bases”， ICLR 2015

　　Zhang, Yang, He, Deng, “Multimodal Intelligence: Representation Learning, Information Fusion, and Applications”， IEEE JSTSP, March 2020

總結

以上是生活随笔為你收集整理的京东副总裁何晓冬：GPT-3后，人机对话与交互何去何从？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。