一、什么是智能助理

隨著智能手機(jī)和移動(dòng)互聯(lián)網(wǎng)的普及，越來越多原來發(fā)生在線下的交互場景，逐漸從線下轉(zhuǎn)移到線上。人們也開始習(xí)慣通過在線溝通的方式來獲取各種服務(wù)：讓秘書安排出差的機(jī)票和酒店，向英語老師咨詢學(xué)習(xí)中的問題，找旅行達(dá)人制定旅游計(jì)劃等等。類似這樣的場景，今天都逐漸從面對(duì)面或電話溝通，轉(zhuǎn)移到線上溝通。

因?yàn)闇贤◤木€下變?yōu)榫€上，大量的數(shù)據(jù)能夠被沉淀下來，基于數(shù)據(jù)我們可以通過機(jī)器學(xué)習(xí)等方法來輔助人提升效率，甚至在某些場景下替代人，從而實(shí)現(xiàn)智能助理。我們給智能助理的定義是：基于人工智能技術(shù)，通過理解語音或文本形式的自然語言來滿足用戶需求的軟件應(yīng)用或平臺(tái)。

那么智能助理是不是就是智能客服呢？我們認(rèn)為智能客服是智能助理的一種形態(tài)，但智能助理比智能客服有更深層次的意義和更廣泛的應(yīng)用。與智能客服不同，智能助理有以下3個(gè)特點(diǎn)：

1. 更主動(dòng)的雙向交互：在客服場景下，通常是用戶主動(dòng)聯(lián)系客服，客服被動(dòng)響應(yīng)。而在助理場景下，助理和用戶的交互是雙向的，助理可以主動(dòng)聯(lián)系用戶，在適合的時(shí)候主動(dòng)為用戶提供合適的服務(wù)。

2. 更長期的伙伴關(guān)系：在助理場景下，用戶和助理的關(guān)系是長期，用戶可以在長時(shí)間內(nèi)通過同一個(gè)助理持續(xù)獲得專屬化的服務(wù)。相反，在客服場景下，用戶和客服之間的關(guān)系往往是短暫的，雙方的連接只在服務(wù)的那一刻建立，服務(wù)完成后即斷開。

3. 更豐富的價(jià)值場景：因?yàn)殡p向的溝通與長期的關(guān)系，助理能夠?yàn)橛脩籼峁└S富和更有價(jià)值的服務(wù)。這些服務(wù)不僅僅限于售后，還包括售前咨詢，甚至一些專業(yè)化的服務(wù)也可以通過在線助理的方式來完成。

通過智能助理來獲得信息、商品和服務(wù)將成為趨勢。那么，這個(gè)趨勢會(huì)首先發(fā)生在哪些行業(yè)中？我們通過兩個(gè)維度來思考這個(gè)問題。第一個(gè)維度是在線交互需求度，即該行業(yè)中在線交互的需求強(qiáng)不強(qiáng)，場景多不多。第二個(gè)維度是領(lǐng)域知識(shí)專業(yè)度，即這個(gè)行業(yè)的領(lǐng)域知識(shí)是否比較復(fù)雜，用戶的決策過程是否需要借助外部知識(shí)。

只有當(dāng)這兩個(gè)維度都比較強(qiáng)的時(shí)候，以自然語言對(duì)話為主要交互方式的助理產(chǎn)品才能給用戶帶來比較高的價(jià)值。比如，在線秘書是一個(gè)非常典型的例子。今天，如果我有一個(gè)秘書，大部分時(shí)候我不需要和秘書見面，通過在線溝通的方式就可以把我想讓他做的事情交代清楚了。再比如說，母嬰、教育、旅游等行業(yè)都是非常典型的在線交互需求度較強(qiáng)和領(lǐng)域知識(shí)專業(yè)度較高的領(lǐng)域，適合智能助理的落地?？梢灶A(yù)見，隨著越來越多線下交互場景遷移到線上，智能助理會(huì)在更多的行業(yè)中成為一種主流的產(chǎn)品形態(tài)。

二、基于深度學(xué)習(xí)的自然語言處理框架

在線交互的場景會(huì)產(chǎn)生大量自然語言對(duì)話數(shù)據(jù)，基于這些數(shù)據(jù)我們可以訓(xùn)練機(jī)器學(xué)習(xí)模型，讓機(jī)器具備一定自然語言處理和理解的能力，從而打造智能助理。

自然語言處理在智能助理產(chǎn)品的各個(gè)環(huán)節(jié)中都有應(yīng)用，從分詞、詞性標(biāo)注，到意圖識(shí)別、實(shí)體抽取，再到問答、對(duì)話等。過去兩年，學(xué)術(shù)界和工業(yè)界開始將深度學(xué)習(xí)應(yīng)用在自然語言處理任務(wù)上，取得了很多不錯(cuò)的進(jìn)展。在某些特定任務(wù)下，基于深度學(xué)習(xí)的方法明顯優(yōu)于基于傳統(tǒng)機(jī)器學(xué)習(xí)模型的方法。因此，本節(jié)我們主要介紹深度學(xué)習(xí)技術(shù)在智能助理中的應(yīng)用。

上面提到自然語言處理中有很多種不同的任務(wù)，但從機(jī)器學(xué)習(xí)模型的角度來說這些任務(wù)都有相同之處：模型的輸入都是自然語言文本，輸出都是某些預(yù)測結(jié)果，只不過在不同任務(wù)下模型需要預(yù)測的東西不一樣。比如，在意圖識(shí)別中，模型需要預(yù)測的是一段文本表達(dá)的用戶意圖；在實(shí)體抽取中，模型需要預(yù)測的是一段文本中的每個(gè)字或詞所對(duì)應(yīng)的實(shí)體；在問答或?qū)υ捴?#xff0c;模型需要預(yù)測的是用戶的問題和機(jī)器的回答的匹配度。雖然預(yù)測的內(nèi)容不同，基于深度學(xué)習(xí)的自然語言處理框架可以總結(jié)為以下4步：

1，Embed。這一步所做的事情是將待處理文本中詞或字用分布式向量的方式表示，作為下面步驟的輸入。這些向量又稱為詞向量或字向量，可以事先訓(xùn)練得到，也可以先初始化成隨機(jī)向量，然后在訓(xùn)練當(dāng)前任務(wù)的過程中調(diào)整。當(dāng)然，這一步中也可以將其他對(duì)實(shí)現(xiàn)當(dāng)前任務(wù)有價(jià)值的信息作為輸入，如用戶行為等。

2，Encode。當(dāng)我們把一句話用詞向量表示后，這些詞向量并不能表示這句話的語義，因?yàn)橐痪湓挼囊馑疾⒉坏扔谄浒脑~的意思的簡單組合。因此，Encode 這一步所做的主要工作是對(duì)整段文本進(jìn)行編碼，編碼的過程考慮到每個(gè)詞和它上下文之間的關(guān)系。 我們通常使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）或者循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）對(duì)文本進(jìn)行編碼，這樣可以充分利用詞與詞之間的關(guān)系。編碼的輸出是一個(gè)新的向量或矩陣，能更好地表征整段文本。

3，Attend。這個(gè)步驟又稱為注意力機(jī)制（Attention Mechanism）， 其主要思想是通過訓(xùn)練讓模型關(guān)注在文本中能夠解決當(dāng)前任務(wù)的最重要的部分。用通俗的話來說，注意力機(jī)制就是給文本“劃重點(diǎn)”，從而提升模型預(yù)測的效果。

4，Predict。這一步目標(biāo)非常清晰，即將上一步中的輸出通過一個(gè)網(wǎng)絡(luò)完成當(dāng)前的預(yù)測任務(wù)，通常使用到的網(wǎng)絡(luò)模型是全連接的前饋神經(jīng)網(wǎng)絡(luò)。根據(jù)預(yù)測任務(wù)的不同，預(yù)測結(jié)果可以是一個(gè)標(biāo)簽的概率、一個(gè)實(shí)數(shù)值或者一個(gè)向量等。

下面我們來看一下，基于上述框架使用深度學(xué)習(xí)能夠應(yīng)用在智能助理的哪些場景中，解決哪些具體問題。

三、深度學(xué)習(xí)的應(yīng)用：意圖識(shí)別

第一個(gè)場景是意圖識(shí)別。意圖識(shí)別的作用是根據(jù)自然語言判斷用戶的意圖。例如，在助理來也的場景里，當(dāng)用戶通過自然語言發(fā)起一個(gè)需求時(shí)，用戶的意圖是問天氣、訂機(jī)票還是其他，是意圖識(shí)別模型需要解決的問題。上面介紹的框架能夠非常好的應(yīng)用在解決意圖識(shí)別問題上。

首先，意圖識(shí)別模型的底層是一個(gè)雙向的 LSTM網(wǎng)絡(luò)，即一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)的輸入是經(jīng)過向量化表示（Embed）的用戶消息，該網(wǎng)絡(luò)的作用是對(duì)用戶的消息進(jìn)行編碼（Encode），輸出是若干個(gè)隱向量。編碼后的結(jié)果經(jīng)過一個(gè)注意力層（Attend），使模型學(xué)習(xí)到不同詞對(duì)應(yīng)的隱向量對(duì)于預(yù)測結(jié)果的權(quán)重。最終，經(jīng)過注意力層加權(quán)后的隱向量經(jīng)過Softmax層來預(yù)測（Predict）用戶消息對(duì)應(yīng)意圖的概率。

和基于傳統(tǒng)機(jī)器學(xué)習(xí)模型的方法相比，該方案最大的優(yōu)點(diǎn)是完全靠數(shù)據(jù)驅(qū)動(dòng)，無需人工進(jìn)行特征工程，能最大化的利用數(shù)據(jù)本身蘊(yùn)含的信息來進(jìn)行意圖預(yù)測。同時(shí)，基于深度學(xué)習(xí)的方法效果也明顯優(yōu)于傳統(tǒng)的方法。

在助理來也的產(chǎn)品中，我們?cè)?0多類的意圖識(shí)別問題上對(duì)不同的方法進(jìn)行了對(duì)比。最初，在缺乏數(shù)據(jù)的情況下，我們使用傳統(tǒng)基于規(guī)則的方法，準(zhǔn)確率只有70%左右。隨著數(shù)據(jù)的積累，我們切換到基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法，準(zhǔn)確率迅速提升到90%。但是，當(dāng)傳統(tǒng)機(jī)器學(xué)習(xí)模型準(zhǔn)確率到達(dá)90%之后，我們發(fā)現(xiàn)很難進(jìn)一步提升，因?yàn)閭鹘y(tǒng)的方法依賴于特征提取，怎么選擇和構(gòu)造特征直接決定了模型的效果。隨著特征數(shù)的增加，構(gòu)造新的特征變得更難，而增加新的特征對(duì)模型效果的影響也越小。

為了解決這些問題，我們切換到基于深度學(xué)習(xí)的模型上，不依賴特征提取，完全靠數(shù)據(jù)驅(qū)動(dòng)，效果明顯比傳統(tǒng)方法好，準(zhǔn)確率達(dá)到96%以上。當(dāng)然，在實(shí)際使用過程中還會(huì)遇到很多其他的挑戰(zhàn)，比如用戶的意圖不僅僅和當(dāng)前用戶消息有關(guān)，可能和用戶的歷史消息甚至歷史行為有關(guān)。基于此，我們可以在模型中引入更多的輸入，如歷史消息、歷史行為等，來進(jìn)一步提升意圖識(shí)別的準(zhǔn)確率。

四、深度學(xué)習(xí)的應(yīng)用：知識(shí)挖掘

接下來介紹深度學(xué)習(xí)在知識(shí)挖掘上的應(yīng)用。在智能助理的場景中，用戶會(huì)問各種各樣和該領(lǐng)域相關(guān)的問題，每個(gè)問題都有特定的答案，我們把這些問題和答案稱為領(lǐng)域知識(shí)。要讓智能助理具備自動(dòng)問答的能力，首先需要把這些知識(shí)從非結(jié)構(gòu)化的對(duì)話語料中挖掘出來，作為自動(dòng)問答模型的訓(xùn)練數(shù)據(jù)。具體而言，知識(shí)挖掘的目標(biāo)是從自然語言對(duì)話語料中將用戶問題挖掘出來，并將相同語義的問題歸到同一個(gè)知識(shí)點(diǎn)下。下面是母嬰助理場景中兩個(gè)例子。

表達(dá)方式不同，但屬于同一個(gè)知識(shí)點(diǎn)：

· 剛出生1個(gè)多月的小孩能曬太陽嗎?

· 新生兒是不是要滿月才可以曬太陽?

表達(dá)方式接近，但屬于不同的知識(shí)點(diǎn)：

· 新生兒曬太陽，每次多久比較合適？

· 新生兒曬太陽，多大開始比較合適？

在上面的兩個(gè)例子中，知識(shí)挖掘需要將第一個(gè)例子中的兩句話歸為同一個(gè)知識(shí)點(diǎn)（寶寶多大可以曬太陽），而將第二個(gè)例子中的兩句話歸為不同的知識(shí)點(diǎn)（寶寶每次曬太陽時(shí)間 vs寶寶多大可以曬太陽）。因此，知識(shí)挖掘的主要難點(diǎn)是對(duì)文本進(jìn)行語義表示，然后進(jìn)行聚類。

傳統(tǒng)的知識(shí)挖掘方法使用基于詞向量的無監(jiān)督聚類。具體的做法是，對(duì)于任意兩句文本，使用它們包含的詞和詞向量來計(jì)算文本間的距離，再基于文本間的距離來實(shí)現(xiàn)無監(jiān)督的聚類。這種方法有兩個(gè)比較明顯的缺陷：1）基于詞向量來計(jì)算文本間的距離，不能很好的反映文本的語義相似度；2）使用無監(jiān)督的聚類，很難確定類的數(shù)目，導(dǎo)致結(jié)果聚類結(jié)果不可控。

針對(duì)這兩個(gè)問題，我們采用基于深度學(xué)習(xí)的方法，在詞向量的基礎(chǔ)上訓(xùn)練句向量，將無監(jiān)督的方法和有監(jiān)督的方法結(jié)合起來。具體而言，我們首先通過傳統(tǒng)的方法挖掘出一部分知識(shí)點(diǎn)，人工審核后進(jìn)入知識(shí)庫，我們稱之為種子知識(shí)庫。在種子知識(shí)庫的基礎(chǔ)上，我們能夠構(gòu)造訓(xùn)練數(shù)據(jù)：同一知識(shí)點(diǎn)下的問題對(duì)作為正樣本，不同知識(shí)點(diǎn)下的問題對(duì)作為負(fù)樣本。基于上述訓(xùn)練數(shù)據(jù)，我們能訓(xùn)練出一個(gè)針對(duì)問題對(duì)的語義匹配的模型。這個(gè)模型和上面提到的框架完全一致，也包括Embed、Encode、Attend、Predict這4個(gè)步驟。

模型訓(xùn)練好之后，我們將其中的編碼器（Encoder） 單獨(dú)拿出來使用，對(duì)語料中的其他問題進(jìn)行編碼，編碼結(jié)果可以認(rèn)為是句向量，能夠表征句子的語義?；诰湎蛄?#xff0c;我們?cè)僮龌诰垲?#xff0c;效果和效率比基于詞向量的方法都會(huì)有很大的提升。

五、深度學(xué)習(xí)的應(yīng)用：自動(dòng)問答

最后再來看一看深度學(xué)習(xí)在自動(dòng)問答中的應(yīng)用。自動(dòng)問答模型的主要目標(biāo)是針對(duì)一個(gè)用戶的問題，返回知識(shí)庫中最適合回答該問題的知識(shí)點(diǎn)。傳統(tǒng)的自動(dòng)問答使用基于檢索的方法，將用戶問題作為輸入去檢索知識(shí)庫，并返回相關(guān)性最高的若干個(gè)結(jié)果?；跈z索的方法存在兩個(gè)問題：1）檢索是基于關(guān)鍵詞的，檢索相關(guān)性不能代表語義相關(guān)性；2）實(shí)際場景中的問答通常和上下文有關(guān)，在這種情況下僅基于單句用戶消息的檢索無法返回合適的結(jié)果。針對(duì)這個(gè)問題，我們采用基于上下文檢索加深度學(xué)習(xí)匹配排序的方法。下面詳細(xì)介紹。

首先，我們從用戶當(dāng)前消息和上文中抽取關(guān)鍵詞，去知識(shí)庫或歷史語料中進(jìn)行檢索，返回若干個(gè)候選回復(fù)。因?yàn)闄z索關(guān)鍵詞不僅來自于當(dāng)前用戶消息，也來自當(dāng)前對(duì)話的上文，檢索結(jié)果會(huì)既包含和當(dāng)前消息相關(guān)的回復(fù)，也包含和上文歷史消息相關(guān)的回復(fù)。

接下來，這些候選回復(fù)逐一輸入到一個(gè)基于深度學(xué)習(xí)的文本匹配模型中，模型返回每個(gè)候選回復(fù)和當(dāng)前對(duì)話上文的語義匹配度。最后，根據(jù)匹配模型返回的分?jǐn)?shù)，系統(tǒng)返回分?jǐn)?shù)最高的若干個(gè)候選回復(fù)。

深度匹配模型使用 CNN 對(duì)一個(gè)候選回復(fù)與當(dāng)前用戶消息以及歷史消息序列進(jìn)行匹配，最終計(jì)算出候選回復(fù)和整個(gè)對(duì)話上文的匹配分?jǐn)?shù)。模型的訓(xùn)練數(shù)據(jù)來自于歷史語料，將歷史對(duì)話切割成若干個(gè)“上文”和“真實(shí)回復(fù)”的配對(duì)作為正樣本，將“上文”和“隨機(jī)回復(fù)”配對(duì)作為負(fù)樣本。基于此，該匹配模型能夠充分利用歷史數(shù)據(jù)，同時(shí)考慮到上下文關(guān)系，實(shí)現(xiàn)候選回復(fù)和上文歷史消息的匹配。

這個(gè)模型也完全符合我們前面介紹到的框架：候選回復(fù)和若干條上文消息的匹配可以看作是 Encode 步驟，而若干個(gè)匹配后的向量進(jìn)行池化等操作可以認(rèn)為是 Attend步驟，最終輸出語義匹配度則是 Predict 步驟。

六、智能助理在行業(yè)中的落地

前面提到，不同行業(yè)的在線交互需求度和領(lǐng)域知識(shí)專業(yè)度都有所不同。因此，靠數(shù)據(jù)驅(qū)動(dòng)的智能助理產(chǎn)品更適合在不同行業(yè)中以行業(yè)助理的形態(tài)落地，而不是以通用助理的形態(tài)落地。當(dāng)我們聚焦行業(yè)后，能夠積累足夠多的領(lǐng)域?qū)υ挃?shù)據(jù)，打造更加智能、用戶體驗(yàn)更好的智能助理產(chǎn)品。

基于這個(gè)思路，我們首先針對(duì)在線秘書行業(yè)打造了一款助理產(chǎn)品“助理來也”。用戶可以通過自然語言的方式獲取20多項(xiàng)和工作、生活相關(guān)的服務(wù)，包括日程提醒、打車、咖啡、跑腿等。目前，“助理來也”是微信平臺(tái)上深受歡迎的助理產(chǎn)品，為超過300萬用戶提供一站式的在線助理服務(wù)。在這個(gè)過程中，我們積累了大量的交互數(shù)據(jù)，將深度學(xué)習(xí)技術(shù)成功的應(yīng)用在意圖識(shí)別、實(shí)體抽取、問答、對(duì)話等各環(huán)節(jié)中，提升模型的效果和產(chǎn)品的體驗(yàn)。除此之外，我們也通過“吾來”輸出語義、問答、對(duì)話等技術(shù)，幫助各領(lǐng)域企業(yè)客戶打造行業(yè)助理。目前已經(jīng)在母嬰、汽車等行業(yè)的標(biāo)桿企業(yè)實(shí)現(xiàn)商業(yè)化落地。

七、結(jié)束語

最后我們進(jìn)行總結(jié)。首先，隨著移動(dòng)互聯(lián)網(wǎng)的普及和物聯(lián)網(wǎng)時(shí)代的來臨，基于自然交互的智能助理產(chǎn)品將逐漸成為主流。不同于智能客服，智能助理更加強(qiáng)調(diào)雙向的溝通，長期的關(guān)系和個(gè)性化的服務(wù)。在這個(gè)場景下，基于數(shù)據(jù)驅(qū)動(dòng)我們可以使用深度學(xué)習(xí)等技術(shù)提升語義理解、問答、對(duì)話等模型的效果?，F(xiàn)階段，針對(duì)行業(yè)、針對(duì)具體場景的智能助理產(chǎn)品更有用戶價(jià)值和商業(yè)價(jià)值。

參考文獻(xiàn)

1，Honnibal M. Embed, Encode, Attend, Predict: The NewDeep Learning Formula for State-of-the-art NLP Models. Available at https://explosion.ai/blog/deep-learning-formula-nlp, 2017.

2，Conneau A, Kiela D, Schwenk H, et al.Supervised Learning of Universal Sentence Representations from Natural LanguageInference Data. In Proc. EMNLP, 2017.

3，Wu Y, Wu W, Xing C, et al. SequentialMatching Network: A New Architecture for Multi-turn Response Selection inRetrieval-Based Chatbots. In Proc. ACL, 2017.

總結(jié)

以上是生活随笔為你收集整理的深度学习在智能助理中的应用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。