颠覆传统的电商智能助理-阿里小蜜技术揭秘
http://www.infoq.com/cn/articles/electricity-supplier-intelligent-assistant
一、雙11的挑戰(zhàn)與服務模式的轉型
在全球人工智能領域不斷發(fā)展的今天，包括Google、Facebook、Microsoft、Amazon、Apple等互聯(lián)公司相繼推出了自己的智能私人助理和機器人平臺，智能人機交互成為各大公司在人工智能戰(zhàn)場上激烈競爭的入口級領域。 智能人機交互通過擬人化的交互體驗逐步在智能客服、任務助理、智能家居、智能硬件、互動聊天等領域發(fā)揮巨大的作用和價值。
在2015年7月，我們阿里也推出了自己的智能私人助理-阿里小蜜，一個圍繞著電子商務領域中的服務、導購以及任務助理為核心的智能人機交互產(chǎn)品。通過電子商務領域與智能人機交互領域的結合，提升傳統(tǒng)電商領域的能效，帶來傳統(tǒng)服務行業(yè)模式的變化與體驗的提升。
1、智能人機交互帶來服務行業(yè)模式的變化
傳統(tǒng)的服務行業(yè)是一個人力密集型的行業(yè)，就拿我們阿里巴巴雙11狂歡節(jié)來說，無論是對于阿里直接對外的服務(消費者服務和商家服務)還是淘寶商家的服務都面臨著當天服務量的巨大井噴，人力擴容成為每年阿里以及商家巨大的挑戰(zhàn)。傳統(tǒng)人力密集型服務模式(以自營客服、外包客服和云客服為主的服務模式)亟待被顛覆和改變，圍繞著以阿里小蜜產(chǎn)品為核心，通過智能人機交互與人工服務相結合的模式才是未來真正的服務模式。機器通過智能化技術處理掉絕大部分的簡單、重復等可識別處理的問題，對于解決不了的問題流向人工，讓人提供更有溫度也更加專業(yè)的服務。通過智能+人工相結合的模式探索，在今年的雙11期間，阿里小蜜整體智能服務量達到643萬，其中智能解決率達到95%，智能服務在整個服務量(總服務量=智能服務量+在線人工服務量+電話服務量)占比也達到95%，成為了雙11期間服務的絕對主力。
2、智能人機交互帶來服務體驗的提升
在體驗維度，由于機器的運算速度遠超于人，因此智能人機交互可以帶來提升：智能交互相比人工可以達到急速的秒級體驗，而人的服務通常需要一定時間的回復等待。并且在互動領域，智能人機交互也帶來了一種新的模式和新的玩法，帶來更多價值。
二、阿里小蜜及阿里小蜜平臺介紹
阿里小蜜是電子商務領域的智能私人助理，基于阿里海量消費和商家數(shù)據(jù)，結合線上、線下的生活場景需求，以智能+人工的模式提供智能導購、服務、助理的擬人交互業(yè)務體驗。
阿里小蜜整體體系圖如下：
通過1年多阿里小蜜在阿里業(yè)務體系內(nèi)的不斷嘗試和摸索，今年在電子商務生態(tài)圈范圍內(nèi)，在基于千牛的買賣家生態(tài)圈、基于釘釘?shù)钠髽I(yè)生態(tài)圈上，我們將阿里小蜜進行平臺化開放，同時賦能給我們商家和企業(yè)用戶。未來我們期望通過不斷的領域數(shù)據(jù)和技術模型的積累，能夠在阿里其他生態(tài)圈(例如：阿里云)逐步進行開放，賦能更多電子商務生態(tài)圈領域。
阿里小蜜平臺結構圖如下：
阿里小蜜在各個領域系統(tǒng)示例截圖：
三、阿里小蜜技術實踐
智能人機交互系統(tǒng)，俗稱：chatbot系統(tǒng)或者bot系統(tǒng)，我們核心需要做的事情是理解人類的語言意思，進而給予合理的答案或者Action。
人機交互基本流程如下：
其核心部分就是NLU(自然語言理解)，通過對話系統(tǒng)處理后最后通過自然語言生成的方式給出答案。一段語言如何理解對于計算機來說是非常有難度的，例如：“蘋果”這個詞就具備至少兩個含義，一個是水果屬性的“蘋果”，還有一個是知名互聯(lián)網(wǎng)公司屬性的“蘋果”。因此在阿里小蜜這樣在電子商務領域的場景中，我們先采用分領域分層分場景的方式進行架構抽象，然后再根據(jù)不同的分層和分場景采用不同的機器學習方法進行技術設計。首先我們將對話系統(tǒng)從分成兩層：
a) 問答型：例如“密碼忘記怎么辦？”→ 采用基于知識圖譜構建+檢索模型匹配方式
b) 任務型：例如“我想訂一張明天從杭州到北京的機票”→ 意圖決策+slots filling的匹配方式
c) 語聊型：例如“我心情不好”→ 檢索模型與Deep Learning相結合的方式
阿里小蜜意圖識別的技術方案介紹：
通常在意圖識別領域我們將其抽象成為機器學習中的分類問題來解決，在阿里小蜜的技術方案中除了傳統(tǒng)的文本特征之外，考慮到本身在對話領域中存在語義意圖不完整的情況，我們也加入了用實時、離線用戶本身的行為及用戶本身相關的特征，通過深度學習方案構建模型，對用戶意圖進行預測。如下圖：
在基于深度學習的分類預測模型上，我們有兩種具體的選型方案：一種是多分類模型，一種是二分類模型。多分類模型的優(yōu)點是性能快，但是對于需要擴展分類領域是整個模型需要重新訓練；而二分類模型的優(yōu)點就是擴展領域場景時原來的模型都可以復用，可以平臺進行擴展，缺點也很明顯需要不斷的進行二分，整體的性能上不如多分類好，因此在具體的場景和數(shù)據(jù)量上可以做不同的選型。整體的基本技術思路就是將行為因子與文本特征分別進行Embedding處理，通過向量疊加之后再進行多分類或者二分類處理。這里的文本特征維度可以選擇通過傳統(tǒng)的bag of words的方法，也可使用Deep Learning的方法進行向量化。具體如下圖：
(點擊放大圖像)
阿里小蜜在匹配技術上的介紹：
目前主流的智能匹配技術分為如下4種方法：
在阿里小蜜的技術場景下，我們采用了基于模板匹配，檢索模型以及深度學習模型為基礎的方法原型來進行分場景(問答型、任務型、語聊型)的會話系統(tǒng)構建。
1、問答型：基于知識圖譜構建+檢索模型匹配方式
特點：有領域知識的概念，且知識之間的關聯(lián)性高，并且對精準度要求比較高
基于問答型場景的特點，我們在技術選型上采用了知識圖譜構建+檢索模型相結合的方式來進行核心匹配模型的設計。
知識圖譜的構建我們會從兩個角度來進行抽象，一個是實體維度的挖掘，一個是短句維度進行挖掘，通過在淘寶平臺上積累的大量屬于以及互聯(lián)網(wǎng)數(shù)據(jù)，通過主題模型的方式進行挖掘、標注與清洗，再通過預設定好的關系進行實體之間關系的定義最終形成知識圖譜。基本的挖掘框架流程如下：
(點擊放大圖像)
挖掘構建的知識圖譜示例如下：
(點擊放大圖像)
基于知識圖譜的匹配模式具備以下幾個優(yōu)點：
(1).在對話結構和流程的設計中支持實體間的上下文會話識別與推理
(2).通常在一般型問答的準確率相對比較高(當然具備推理型場景的需要特殊的設計，會有些復雜)
同樣也有明顯的缺點：
(1).模型構建初期可能會存在數(shù)據(jù)的松散和覆蓋率問題，導致匹配的覆蓋率確實；
(2).對于知識圖譜增量維護相比傳統(tǒng)的QA Pair對知識的維護上的成本會更大一些；
因此我們在阿里小蜜的問答型設計中，還是融入了傳統(tǒng)的基于檢索模型的對話匹配。
其在線基本流程分為：
(1).提問預處理：分詞、指代消解、糾錯等基本文本處理流程；
(2).檢索召回：通過檢索的方式在候選數(shù)據(jù)中召回可能的匹配候選數(shù)據(jù)；
(3).計算：通過Query結合上下文模型與候選數(shù)據(jù)進行計算，通過我們采用文本之間的距離計算方式(余弦相似度、編輯距離)以及分類模型相結合的方式進行計算；
(4).最終根據(jù)返回的候選集打分閾值進行最終的產(chǎn)品流程設計；
離線流程分為：
(1).知識數(shù)據(jù)的索引化；
(2).離線文本模型的構建：例如Term-Weight計算等；
檢索模型整體流程如下圖：
(點擊放大圖像)
2、任務型：意圖決策+slots?filling的匹配方式
特點：有領域知識的概念，每個任務負責獨立的業(yè)務流程，任務之間相對互斥性強，精準度要求高。
基于任務型的特點，在技術選型上，我們采用了意圖決策+slot filling的方式進行會話匹配設計。首先按照任務領域進行本體知識的構建，例如機票的領域本體知識場景如下：
在問答匹配過程中結合上下文模型和領域數(shù)據(jù)模型不斷在Query中進行slot屬性的提取，并循環(huán)進行本體意圖樹的不斷填充和修改，直到必選意圖樹填充完整后進行輸出。如下圖：
3、語聊型：檢索模型與Deep?Learning相結合的方式
特點：非面向目標，語義意圖不明確，通常期待的是語義相關性和漸進性，對準確率要求相對較低
面向open domain的聊天機器人目前無論在學術界還是在工業(yè)界都是一大難題，通常在目前這個階段我們有兩種方式來做對話設計：
一種是學術界非常火爆的Deep Learning生成模型方式，通過Encoder-Decoder模型通過LSTM的方式進行Sequence to Sequence生成，如下圖：
Generation Model(生成模型)：
優(yōu)點：通過深層語義方式進行答案生成，答案不受語料庫規(guī)模限制
缺點：模型的可解釋性不強，且難以保證一致性和合理性回答
另外一種方式就是通過傳統(tǒng)的檢索模型的方式來構建語聊的問答匹配。
Retrieval Model(檢索模型)：
優(yōu)點：答案在預設的語料庫中，可控，匹配模型相對簡單，可解釋性強
缺點：在一定程度上缺乏一些語義性，且有固定語料庫的局限性
因此在阿里小蜜的聊天引擎中，我們結合了兩者各自的優(yōu)勢，將兩個模型進行了融合形成了阿里小蜜聊天引擎的核心。先通過傳統(tǒng)的檢索模型檢索出候選集數(shù)據(jù)，然后通過Seq2Seq Model對候選集進行Rerank，重排序后超過制定的閾值就進行輸出，不到閾值就通過Seq2Seq Model進行答案生成，整體流程如下圖：
四、智能交互未來的展望
目前的人工智能領域任然處在弱人工智能階段，特別是從感知到認知領域需要提升的空間還非常大。智能人機交互在面向目標的領域已經(jīng)可以與實際工業(yè)場景緊密結合并產(chǎn)生巨大價值，隨著人工智能技術的不斷發(fā)展，未來智能人機交互領域的發(fā)展還將會有不斷的提升，對于未來技術的發(fā)展我們值得期待和展望：
- 數(shù)據(jù)的不斷積累，以及領域知識圖譜的不斷完善與構建將不斷助推智能人機交互的不斷提升；
- 面向任務的垂直細分領域機器人的構建將是之后機器人不斷爆發(fā)的增長點，open domain的互動機器人在未來一段時間還需要不斷提升與摸索；
- 隨著分布式計算能力的不斷提升，深度學習在席卷了圖像、語音等領域后，在NLP(自然語言處理)領域將會繼續(xù)發(fā)展，在對話、QA領域的學術研究將會持續(xù)活躍；
在未來隨著學術界和工業(yè)界的不斷結合與積累，期待人工智能電影中的場景早日實現(xiàn)，人人都能擁有自己的智能“小蜜”。
轉載于:https://www.cnblogs.com/davidwang456/articles/9121108.html
總結
以上是生活随笔為你收集整理的颠覆传统的电商智能助理-阿里小蜜技术揭秘的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 谈阿里核心业务监控平台SunFire的技
- 下一篇： 一个可供中小团队参考的微服务架构技术栈