?PaperWeekly 原創 ·?作者?|?金金

單位?|?阿里巴巴研究實習生

研究方向?|?推薦系統

簡介

對話式檢索近年來成為了信息檢索中的研究熱點，但是該研究領域一直存在數據資源缺乏的問題，一方面沒有現有的對話式檢索系統收集真實場景的數據，另一方面用戶實驗模擬產生的數據集規模不足以支撐深度學習模型的訓練，本文首先講介紹以下兩種數據集：

• 用戶實驗數據集：通過人來扮演 machine agent，從而研究對話式檢索的特點；

• 單一任務數據集：規模較大、但是只能完成對話式檢索中一個子任務的數據集。

最后我們將介紹今年 SIGIR 上提出的第一個可以完整訓練對話式檢索整個流程的數據集 WISE。

用戶實驗數據集

為了確定我們是否需要對話式檢索及其特征，研究人員進行了不同的用戶研究。

2.1 MISC

MISC [1] 是人類“seeker”與“agent”之間口頭對話的記錄集。它旨在支持對以下問題的研究：人類 agent 是否表現出與 seeker 滿意度相關的行為？seeker 是否顯示我們可以用作在線指標基線的，適合于對話 agent 的行為？禮貌或其他對話規范起什么作用？我們在尋求信息的對話中看到了哪些策略，特定的結構是否有助于或阻礙進步或滿意度？MISC 已用于未出版的有關這些問題，對話風格，多式聯運和下面描述的對話結構的工作。

具體來說，任務被分配給“seeker”，該“seeker”負責收集信息并確定最終答案。它們通過音頻鏈接連接到“agent”，后者代表未來的軟件代理。agent 可以不受限制地訪問網絡，包括搜索引擎。作者錄制了兩位參與者的視頻和音頻。具體的實驗流程如下所示。

MISC 數據包括音頻和視頻信號；搜索記錄；韻律和語言信號；有關人口統計和個性的入門問題；以及關于情緒，參與和努力的任務后調查。屏幕記錄以及情感和生理信號數據也可提供。

2.2 SCSData

SCSdata [2] 包含兩個參與者之間口頭信息搜索過程的話語轉錄。SCSdata 是在此實驗設置中創建的第一個數據集。這也是第一個 SCS 數據集，標注了動作或話語的標簽，盡管僅在前三輪中。

創建 SCSdata 的目的是調查兩個參與者之間的交互行為，包括幫助我們理解諸如以下的問題；純音頻交互對搜索有何影響？信息密集型文檔如何在純音頻設置中傳輸？通過音頻進行信息尋求過程的組成部分或動作是什么，以及查詢復雜性對口語對話搜索中的交互作用和交互作用有什么影響？SCSdata 已用于數據集的創建者發表的研究中，并且最近也已被更廣泛的 IR 社區用于研究中。

具體來說，數據包括音頻信號的轉錄，代碼簿和前三輪對話的標簽，以及設置中使用的背景故事。由于道德規范，其他數據（例如音頻，視頻，任務前和任務后調查表）不可用。

2.3 Conversational Legal Case Retrieval

近年來，類案法律案例檢索在 IR 研究界引起了很多關注。它旨在針對給定的查詢案例檢索支持案例，并為更好的法律體系做出貢獻。使用法律案件檢索系統時，用戶通常難以構造準確的查詢來表達他們的信息需求，尤其是當他們缺乏足夠的領域知識時。由于對話搜索已得到廣泛滿足，可以滿足用戶的復雜性和探索性信息需求。

因此，在 SIGIR 21 中，本文 [3] 作者調查了是否可以采用對話式檢索范式來改善用戶的類案檢索體驗。作者設計了一個用戶實驗，以收集用戶的互動行為和明確的反饋信號，同時使用傳統的和 agent 中介的對話式類案檢索系統。根據收集的數據，作者比較這兩種不同類型的交互范例的搜索行為和結果。實驗結果表明，與傳統的案例檢索系統相比，用戶可以獲得更好的檢索性能。此外，對話系統還可以節省用戶制定查詢和檢查結果的工作量。

單一任務數據集

3.1 CAsT

該語料庫 [4] 是來自 TREC 綜合答案檢索（CAR）和 Microsoft 機器閱讀理解（MARCO）數據集的 38426252 個段落，包含八十個信息需求的對話（三十個用于訓練，五十個用于測試），平均包含 9 到 10 個問題。對話可以廣泛地探討主題，也可以深入探討子主題。問題中包含省略號，隱含的上下文，輕微的話題轉移以及人類對話的其他特征，這些特征可能會阻止他們被孤立地理解。

具體來說，CAsT 給定自然語言問題，返回可以呈現給人或傳遞給下游語言處理任務。信息需求（主題）是根據以前的 TREC 主題（例如，Common Core 和 Session Track），MS MARCO 會話和普遍感興趣的主題構建的。信息需求被設計成復雜的（需要多輪詳細說明），多樣的（不同的信息類別），開放域（不需要專家知識來訪問）并且易于回答（集合中有足夠的覆蓋面）。主題被設計為具有信息性，不需要時空或外部背景，不包括個人或主觀決定，避免敏感或有爭議的主題，下面給出的是一個例子。

3.2?MIMICS

最近，由于其在搜索引擎中的應用，澄清搜索已引起了廣泛的關注。它也被認為是對話式搜索系統中的主要組成部分。盡管它很重要，但研究界仍然感到缺乏用于研究搜索澄清各個方面的大規模數據。MIMICS 是從 Bing 查詢日志中采樣的用于實際 Web 搜索查詢的搜索澄清數據集的集合。MIMICS [5] 中的每個澄清都是由 Bing 生成算法生成的，并且由一個澄清問題和最多五個候選答案組成。?

MIMICS 包含三個數據集：（1）MIMICS-Click 包含超過 40 萬個唯一查詢，其相關的澄清窗格以及相應的匯總用戶交互信號。（2）MIMICS-ClickExplore 是一個探索數據，其中包括針對 6 萬多個唯一查詢的聚合用戶交互信號，每個查詢都有多個澄清窗格。

（3）MIMICS-Manual 包含超過 2k 的唯一實際搜索查詢。該數據集中的每個查詢-澄清對均已由至少三個訓練有素的注釋者手動標記。它包含用于澄清問題的分級質量標簽，候選答案集以及每個候選答案的到達結果頁面。研究人員研究了許多與搜索澄清相關的任務，包括澄清生成和選擇，用于澄清的用戶參與預測，用于澄清的點擊模型，以及與搜索澄清一起分析用戶交互。

WISE

對話式信息搜尋（CIS）在將人們與信息聯系起來方面發揮著越來越重要的作用。由于缺乏合適的資源，以前對 CIS 的研究僅限于概念框架的研究，基于實驗室的用戶研究或 CIS 的特定方面（例如，提出明確的問題）。?

在這項工作 [6] 中，作者為促進對 CIS 的研究做出了三個主要貢獻：（1）為 CIS 制定了一個包含六個子任務的流程：意圖檢測，關鍵詞提取，動作預測，查詢選擇，段落選擇和響應生成。（2）發布了一個基準數據集，稱為搜索引擎向導（WISE），它可以對 CIS 的各個方面進行全面而深入的研究。

（3）設計了一種能夠對六個子任務進行聯合和分別訓練和評估的神經體系結構，并設計了一種預訓練/微調學習方案，可以充分利用 WISE 的規模，從而降低其需求可用數據。

具體來說，首先，作者從商業搜索引擎的搜索日志中收集了一組 1196 個搜索意圖。每個搜索意圖均基于特定的搜索會話。要求工作人員根據自己的想象力推斷其背后的搜索意圖，并寫下描述。然后生成對話流程如下。

• 搜索者隨機地選擇搜索意圖，并從直接問問題或說出問候開始。發送消息時，要求搜索者選擇一個最能描述消息意圖的標簽。

• 每當 agent 接收到來自搜索者的消息時，他/她就需要從會話歷史中提取關鍵字短語，這些關鍵字短語用于從搜索引擎獲取結果。然后，他/她必須選擇一個標簽，以反映他/他將要采取的行動。在那之后，他/她需要選擇相關的查詢和/或文檔，基于這些查詢和/或文檔來制定響應。

• 重復對話，直到搜索者結束聊天為止（每次至少 7 輪對話之后）。對于每個回合，搜索者和 agent 都可以通過單擊“發送另一條消息”選項一次發送多條消息。

建立數據集花了 24 個參與者 3 個月的時間。收集的最終數據集由 1905 個會話組成，這些會話包含 1956 個搜索意圖中的 37956 輪對話。數據集總共包含 12 個不同的 Intent 和 23 個不同的 Action，涵蓋了各種對話主題，例如文學，娛樂，藝術等。每個對話包含 7 到 42 輪。每個對話的平均輪數為 19.9。每輪平均有 27.3 個字。

作者將數據分為 705 個對話進行訓練，200 個對話進行驗證和 1000 個對話進行測試。測試集分為兩個子集，即 test（seen）和 test（unseen）。test（seen） 數據集包含 442 個和訓練集重疊的搜索意圖。test（unseen）由 500 個搜索意圖組成，這些意圖在訓練或驗證中從未見過。

總結

經過幾年的發展，對話式搜索的工作流程已經被比較好的總結出來，并且可以完整訓練模型的數據集已經誕生，但是數據量和模型效果仍然有限，這需要研究者們進一步獲取更大的數據集和開發更適合該場景的模型。

參考文獻

[1] Paul Thomas, Daniel McDuff, Mary Czerwinski, and Nick Craswell. 2017. MISC: A data set of information-seeking conversations. In Proc. Int. Workshop on Con- versational Approaches to Information Retrieval.

[2] Johanne R.Trippas,Damiano Spina,Lawrence Cavedon,Hideo Joho,and Mark Sanderson. 2018. Informing the design of spoken conversational search: Perspective paper. In Proc. ACM SIGIR Conf. on Human Information Interaction and Retrieval. 32–41.

[3] https://github.com/BulouLiu/Conversational-vs-Traditional-Legal-Case-Retrieval

[4] Jeffrey Dalton, Chenyan Xiong, and Jamie Callan. 2020. TREC CAsT 2019: The Conversational Assistance Track Overview. arXiv preprint arXiv:2003.13624 (2020).

[5] Zamani H, Lueck G, Chen E, et al. Mimics: A large-scale data collection for search clarification[C]//Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020: 3189-3196.

[6] https://github.com/PengjieRen/CaSE_WISE

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的最新综述：对话式检索数据集汇总的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。