?PaperWeekly 原創(chuàng) ·?作者｜金金

單位｜阿里巴巴研究實(shí)習(xí)生

研究方向｜推薦系統(tǒng)

論文標(biāo)題：

Leading Conversational Search by Suggesting Useful Questions

論文來(lái)源：

WWW 2020

論文鏈接：

https://www.microsoft.com/en-us/research/uploads/prod/2020/01/webconf-2020-camera-rosset-et-al.pdf

簡(jiǎn)介

本文由微軟 AI 研究院發(fā)表于 WWW 2020，當(dāng)前對(duì)話式搜索引擎主要存在兩個(gè)挑戰(zhàn)：1. 用戶仍然習(xí)慣使用查詢?cè)~而并非自然語(yǔ)言進(jìn)行搜索；2. 搜索引擎的能力需要超出僅解決當(dāng)前查詢的問(wèn)題。

本文提出了對(duì)話式問(wèn)題建議（Conversatioal question suggestion）這一新的方式，幫助用戶通過(guò)更接近于對(duì)話式檢索的方式，獲得更好的搜索體驗(yàn)。

本文首先提出了更加合理的評(píng)價(jià)指標(biāo) usefulness 替代 relevance，以衡量建議問(wèn)題的性能；然后提出了基于 BERT 的排序模型和基于 GPT-2 的生成模型，從而針對(duì)當(dāng)前的查詢生成問(wèn)題，這些模型在離線的 usefulness 評(píng)價(jià)和在線的 A/B test 中相比于原來(lái) Bing 上線的系統(tǒng)都有顯著提升。

從相關(guān)性到有用性

考慮到對(duì)話式問(wèn)題推薦不僅僅需要保證推薦的問(wèn)題和當(dāng)前的查詢之間具有相關(guān)性，同時(shí)也希望推薦的問(wèn)題能和用戶下一階段可能構(gòu)造的查詢?cè)~相契合，從而使得用戶可以通過(guò)該功能獲得更好的體驗(yàn)，作者定義了五種不符合有用性的問(wèn)題類別如下，用以標(biāo)注問(wèn)題的有用性：

• Misses Intent：該問(wèn)題完全和主題不符，或者不是用準(zhǔn)確的自然語(yǔ)言進(jìn)行表達(dá)。

• Too Specific：問(wèn)題過(guò)于具體，導(dǎo)致能覆蓋的人群較少。

• Prequel：問(wèn)題的答案是用戶已知的內(nèi)容。

• Duplicate with Query：提問(wèn)和查詢完全重復(fù)。

• Duplicate with Answer：提問(wèn)可以被當(dāng)前查詢中所顯示的結(jié)果解答。

問(wèn)題推薦框架

本文分別提出了基于排序和基于生成的兩種問(wèn)題推薦框架。前者基于 BERT 模型，將查詢和問(wèn)題拼接輸入 BERT 模型完成排序，并通過(guò)正負(fù)樣本對(duì)微調(diào)模型；而后者基于 GPT-2 模型，通過(guò)將查詢作為模型的輸入直接輸出建議的問(wèn)題，并使用正樣本的最大對(duì)數(shù)似然訓(xùn)練的方法微調(diào)模型。兩者的公式表達(dá)如下：

二者均在以下四個(gè)任務(wù)上完成訓(xùn)練：

• 相關(guān)性分類：該任務(wù)針對(duì)一個(gè)具體的“查詢-問(wèn)題對(duì)”判斷它們是否相關(guān)，是一個(gè)二分類問(wèn)題。

• 相關(guān)點(diǎn)擊率預(yù)測(cè)：該任務(wù)抽取了同一查詢下，兩個(gè)具有點(diǎn)擊率顯著差異的問(wèn)題（30%以上），目標(biāo)是模型能準(zhǔn)確預(yù)測(cè)出點(diǎn)擊率更高的問(wèn)題。

• 點(diǎn)擊預(yù)測(cè)：該任務(wù)針對(duì)一個(gè)具體的“查詢-問(wèn)題對(duì)”，判斷在顯示該查詢的情況下，該問(wèn)題是否會(huì)被點(diǎn)擊，是一個(gè)二分類問(wèn)題。該任務(wù)可以被認(rèn)為是該模型的主任務(wù)。

• 用戶搜索軌跡模擬：該部分首先抽取出一些真實(shí)搜索引擎中的會(huì)話，并借助下一查詢預(yù)測(cè)任務(wù)，使得我們的模型預(yù)測(cè)下一查詢中的用戶意圖。具體來(lái)說(shuō) GPT-2 模型直接根據(jù)之前的查詢生成下一查詢，而 BERT 模型則對(duì)最可能出現(xiàn)的模型進(jìn)行排序篩選。

實(shí)驗(yàn)

本文首先對(duì)比了僅使用當(dāng)前的在線系統(tǒng) online，僅使用主任務(wù)訓(xùn)練模型和完整的模型，可以看到僅使用主任務(wù)對(duì)模型訓(xùn)練兩種方法均不如當(dāng)前的在線系統(tǒng)，而完整的模型則大大提升了問(wèn)題建議的用戶滿意度。

而通過(guò)在線的 A/B test 測(cè)試，發(fā)現(xiàn)提出的模型在真實(shí)的 Bing 搜索引擎上上線后，問(wèn)題的點(diǎn)擊率上升了 6.4%-8.9%，直接證明了模型的有效性。

結(jié)論

本文首先提出了對(duì)話式問(wèn)題建議（Conversatioal question suggestion）這一新的方式，幫助用戶獲得更好的搜索體驗(yàn)。本文此后提出了更加合理的評(píng)價(jià)指標(biāo) usefulness 替代 relevance，以衡量建議問(wèn)題的性能。

然后提出了基于 BERT 的排序模型和基于 GPT-2 的生成模型，從而針對(duì)當(dāng)前的查詢檢索或生成建議的問(wèn)題，這些模型在離線的 usefulness 評(píng)價(jià)和在線的 A/B test 中相比于原來(lái) Bing 的在線系統(tǒng)都有顯著提升，證明了模型的有效性。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????來(lái)稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來(lái)稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的WWW 2020 | 信息检索中的对话式问题建议的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。