为新研究准备好一块用武之地：最全任务型对话数据调研
合適的數據集或者語料是優秀的自然語言研究工作的基礎，然而找尋合適的數據集通常是一件耗時耗力的工作。這時候一份優質的數據集匯總就能幫助科研人員，在研究開始的時候事半功倍。這篇文章就向你介紹一份優質的數據集匯總，幫助你的研究工作輕松選擇一片合適的用武之地。
作者丨侯宇泰
學校丨哈爾濱工業大學博士生
研究方向丨任務型對話系統
本文主要介紹本人收集整理的一個任務型對話數據集大全。
▲?圖1. 數據集匯總項目
這份數據集大全涵蓋了到目前在任務型對話領域的所有常用數據集的主要信息。此外，為了幫助研究者更好的把握領域進展的脈絡，我們以?Leaderboard?的形式給出了幾個數據集上的 State-of-the-art 實驗結果。
數據集的地址如下：
https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey
背景介紹：什么是任務型對話
我們收集的數據集主要針對任務型對話研究（Task-oriented Dialogue）。
任務型對話系統指在特定的情境下幫助用戶完成特定任務的對話服務系統，例如幫助用戶訂餐、訂酒店的對話系統。近年來，隨著亞馬遜 Alex，微軟小娜，蘋果 Siri 等個人語音助理業務的興起，基于對話的人機交互方式得到了廣泛的關注，相關的研究也越來越多，儼然成為一個富有潛力的研究方向。
▲?圖2. 語音助手
目前任務型對話的研究可以大體分為兩類：基于流程的任務型對話（Pipeline）以及端到端的任務型對話（End-to-End）。
基于流程的任務型對話是相對較為傳統的方法。這種任務型對話的系統通過一套 Pipeline 流程實現。如圖 3 所示， 任務型對話系統的流程依次包括：自然語言理解、對話狀態跟蹤、對話策略學習，自然語言生成模塊。
具體的，用戶輸入自然語言，對話系統按流程依次完成：分析用戶意圖，更新對話狀態，根據對話策略做出動作，生成最終的自然語言回復。
▲?圖3. Pipeline任務型對話
然而，Pipeline 流程式的對話系統存在錯誤級聯和標注開銷大的問題，為此最近有一部分研究嘗試通過直接進行端到端的任務型對話學習來規避這些問題。端到端式對話系統根據用戶輸入句子直接給出自然語言回復。
為什么要做數據集匯總？
任務型對話任務并不是新課題，但是針對任務型對話的廣泛研究在最近幾年才興起。任務型對話研究的方興未艾反映在數據和語料上，就是目前現有的任務型對話數據集數量少，且其他成熟的任務已有的數據集在數據量上要少的多。?
在這種情況下，盡可能多找到并有效的利用已有的數據資源就成為開展研究的關鍵之一。然而，搜羅并全面的尋找合適的數據集是一個費時費力的工作，所以整理統計目前已有的任務型對話領域的數據集的信息是有必要的，可以極大地為相關研究工作提供便利，讓研究工作得以地快速開始。
除了數據本身的信息有價值之外，在重要數據集上的實驗結果提升過程，可以很大程度上反映自然語言研究的前進脈絡。所以，簡單的數據集信息羅列并不能讓我們滿意，我們還計劃提供一些常用數據上的實驗結果和對應論文的信息。從而幫助研究人員了解和把握任務型對話領域研究的推進脈絡。我們選擇以 Leaderboard 的形式呈現數據集上的部分實驗結果。
數據匯總的內容介紹
1. 數據集信息
針對每個數據集，我們統計并總結了如下幾個方面的內容。
▲?表1. 數據集內容及說明
類似其他常見數據集匯總工作，我們為每個數據集提供了名稱，下載鏈接，簡介，數據量等信息。除了這些基本信息，我們還涵蓋了一些任務型對話數據的特有的研究內容，例如：
Multi or single turn：對話數據是多輪還是單輪是任務型對話數據的重要屬性，單輪對話數據往往用于自然語言理解任務，多輪對話數據往往用于端到端任務、對話策略學習、對話狀態跟蹤。
Task detail：數據適用于什么應用情景也是一個獨特的關鍵信息，通過這個信息，研究者可以快速理解數據，開展 Multi-domain 或 Domain-transfer 研究。
2. 實驗結果Leaderboard
對于一些研究常用數據，我們提供了上面的一些 State-of-the-art 實驗結果，并以 Leaderboard 的形式呈現，具體包括內容如下：
▲?表2. Leaderboard內容及說明
其中我們的模型名稱采用出處論文中的表述，分數的評價指標以具體的任務而定。實驗結果列表配合上論文鏈接，可以讓讀者快速地了解一個任務。
此項信息內容仍在完善中。
數據集匯總內容樣例
1. 數據集介紹樣例
數據集的匯總目前以表格的形式，收錄了 17 個數據的細節信息。讀者可以在 Github 項目中 Excel 文件或者 Readme 中直接查看。數據的格式如圖 4 所示。
▲?圖4. 數據細節樣例
2. Leaderboard 樣例
我們以 Leaderboard 的形式展示了語義槽抽取（Slot filling），用戶意圖識別（Intent detection），對話狀態跟蹤（Dialogue state tracking）三個任務上的一些領先結果。具體形式如圖 5 所示。
▲?圖5. Leaderboard的樣例
關于內容補充的邀請
我們歡迎各種形式的內容完善，包括但不限于：
直接提交 Pull Request
向我們發送新數據
向我們發送新的實驗結果（已發表論文）
點擊以下標題查看更多往期內容：?
Airbnb實時搜索排序中的Embedding技巧
圖神經網絡綜述：模型與應用
近期值得讀的10篇GAN進展論文
F-Principle：初探理解深度學習不能做什么
自然語言處理中的語言模型預訓練方法
兩行代碼玩轉Google BERT句向量詞向量
AI Challenger 2018 機器翻譯參賽總結
Google BERT應用之紅樓夢對話人物提取
深度長文：NLP的巨人肩膀（上）
NLP的巨人肩膀（下）：從CoVe到BERT
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？ 答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
??來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
? 投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
?
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 獲取最新論文推薦
總結
以上是生活随笔為你收集整理的为新研究准备好一块用武之地：最全任务型对话数据调研的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： PaperWeekly给您拜年啦！
- 下一篇： 能量视角下的GAN模型：GAN＝“挖坑”