在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區，查看更多最新論文推薦。

這是 PaperDaily 的第?25?篇文章

面向 open domain 的聊天機器人無論在學術界還是工業界都是個有挑戰的課題，目前有兩種典型的方法：一是基于檢索的模型，二是基于 Seq2Seq 的生成式模型。前者回復答案可控但無法處理長尾問題，后者則難以保證一致性和合理性。

本期推薦的論文筆記來自 PaperWeekly 社區用戶 @britin。本文結合檢索模型和生成模型各自的優勢，提出了一種新的融合模型 — AliMe Chat。

阿里小蜜首先采用檢索模型從 QA 知識庫中找出候選答案集合，然后利用帶注意力的 Seq2Seq 模型對候選答案進行排序，如果第一候選的得分超過某個閾值，則作為最終答案輸出，否則利用生成模型生成答案。

如果你對本文工作感興趣，點擊底部的閱讀原文即可查看原論文。

關于作者：Britin，中科院物理學碩士，研究方向為自然語言處理和計算機視覺。

■?論文 | AliMe Chat: A Sequence to Sequence and Rerank based Chatbot Engine

■ 鏈接 | https://www.paperweekly.site/papers/1302

■ 作者 | britin

論文動機

目前商用的 Chatbot 正在大量興起，這種可以自然語言對話的方式來幫助用戶解答問題比傳統死板的用戶界面要更友好。通常 Chatbot 包括兩個部分：IR 模塊和生成模塊。針對用戶的問題，IR 模塊從 QA 知識庫中檢索到對應的答案，生成模塊再用預訓練好的 Seq2Seq 模型生成最終的答案。

但是已有的系統面臨的問題是，對于一些長問句或復雜問句往往無法在 QA 知識庫中檢索到匹配的條目，并且生成模塊也經常生成不匹配或無意義的答案。

本文給出的方法將 IR 和生成模塊聚合在一起，用一個 Seq2Seq 模型來對搜索結果做評估，從而達到優化的效果。

模型介紹

整個方案如圖所示：

首先利用 IR 模型從知識庫中檢索到 k 個候選 QA 對，再利用 rerank 模型的打分機制計算出每個候選答案和問題的匹配程度。如果得分最高的那個大于預設好的閾值，就將其當作答案，如果小于閾值，就用生成模型生成答案。?

整個系統是從單詞層面上去分析的。?

1. QA知識庫?

本文從在線的真人用戶服務 log 里提取問答對作為 QA 知識庫。過濾掉不包含相關關鍵詞的 QA，最后得到 9164834 個問答對。?

2. IR模塊?

利用倒排索引的方法將每個單詞隱射到包含這個單詞的一組問句中，并且對這些單詞的同義詞也做了索引，然后利用 BM25 算法來計算搜索到的問句和輸入問句的相似度，取最相似問句的答案。?

3. 生成模型?

生成模型是一個 attentive seq2seq 的結構，如圖所示：

采用了一個 GRU，由 question 生成 answer，計算生成單詞的概率：?

其中加了 context 向量，他是由圖中的 α 求得的，α 表示的是當前步的輸入單詞，和上一步的生成單詞之間的匹配度，用了一個 alignment 模型計算。?

要注意，對于各個 QA 長度不等的情況，采用了 bucketing 和 padding 機制。另外用了 softmax 來隨機采樣詞匯表中的單詞，而不使用整個詞匯表，從而加速了訓練過程。還是用了 beam search decoder，每次維護 top-k 個輸出，來取代一次一個輸出的貪心搜索。

4.?rerank 模塊

使用的模型和上面是一樣的，根據輸入問題來為候選答案打分，使用平均概率作為評分函數：

實驗結果

本文對結果做了詳細的評估，首先評估了 rerank 模塊平均概率的結果。然后分別對 IR，生成，IR+rerank，IR+rerank+ 生成這些不同組合的系統做了性能評測。并對該系統和 baseline 的 Chatbot 做了在線 A/B 測試。最后比較了這個系統和已經上市的 Chatbot 之間的差別。

不同 rerank 模型的效果：

不同模塊組合的結果：

和 baseline 對比的結果：

文章評價

本文給出了一種 attentive Seq2Seq 的模型來結合 IR 和生成模塊，從而對原結果進行 rerank 優化。阿里已經把這個投入了阿里小蜜的商用。

總的系統還是比較簡單的，符合商用的需求。但由于函數設計過于簡單，不排除是靠數據堆起來的系統，畢竟阿里有大量的真實用戶數據，所以算法價值層面比較一般，沒有合適的數據恐怕很難達到預期的效果。

本文由 AI 學術社區 PaperWeekly 精選推薦，社區目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學習、數據挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區！

??我是彩蛋?

解鎖新功能：熱門職位推薦！

PaperWeekly小程序升級啦

今日arXiv√猜你喜歡√熱門職位√

找全職找實習都不是問題

?

?解鎖方式?

1. 識別下方二維碼打開小程序

2. 用PaperWeekly社區賬號進行登陸

3. 登陸后即可解鎖所有功能

?職位發布?

請添加小助手微信（pwbot01）進行咨詢

?

長按識別二維碼，使用小程序

*點擊閱讀原文即可注冊

? ? ? ? ???

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 查看原論文

總結

以上是生活随笔為你收集整理的揭秘阿里小蜜：基于检索模型和生成模型相结合的聊天引擎 | PaperDaily #25的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。