?PaperWeekly 原創(chuàng) ·?作者?|?徐葉琛

單位?|?字節(jié)跳動

研究方向?|?NLP語義理解、問答系統(tǒng)

自然語言處理語義解析子任務 Text2SQL 旨在將用戶的自然語言轉換為 SQL 序列，繼而完成數(shù)據(jù)庫查詢工作，打破了人與結構化數(shù)據(jù)庫之間的壁壘，具有廣泛的研究&應用價值。

?

近日，微軟亞洲研究院聯(lián)合北航和西安交大，發(fā)布了全新跨領域多輪交互 Text2SQL 中文數(shù)據(jù)集 CHASE，相關論文已被 ACL 2021 接收。

?

本文從現(xiàn)有 Text2SQL 數(shù)據(jù)集、CHASE 主要特點、解決方案測評等角度來講解這篇頂會論文。隨同數(shù)據(jù)集發(fā)布的還有同名公開榜單。

?

論文標題：

CHASE: A Large-Scale and Pragmatic Chinese Dataset for Cross-Database Context-Dependent Text-to-SQL

論文鏈接：

https://xjtu-intsoft.github.io/chase/

Text2SQL任務和數(shù)據(jù)集

典型的 Text2SQL 任務是給定一張表格 ，用戶輸入自然語言問句 ，模型自動生成相應SQL序列 ，相當于對文本和結構化表格同時建模：。

▲ 任務示例

?

自從上世紀 90 年代提出該任務以來，Text2SQL 在 NLP 和數(shù)據(jù)庫社區(qū)吸引了眾多科研人員的關注，學術界和工業(yè)界相繼發(fā)布了一些大規(guī)模數(shù)據(jù)集。從單領域、單輪到跨領域、多輪，任務難度逐漸提升。

▲ 現(xiàn)有的Text2SQL數(shù)據(jù)集

?

在實際場景，用戶往往會圍繞一個感興趣的問題持續(xù)發(fā)問，直到從數(shù)據(jù)庫中獲得想要的信息。而以往的 Text2SQL 多輪數(shù)據(jù)集沒有中文，僅有的英文數(shù)據(jù)集? Sparc [1] 和 CoSQL?[2] 又包含了很多上下文獨立的樣本，且部分數(shù)據(jù)存在標注混亂。

CHASE簡介

鑒于以上不足，微軟亞洲研究院聯(lián)合北航和西安交大，發(fā)布了最新的 Text2SQL 數(shù)據(jù)集 CHASE，它有以下特點：

?

1）跨領域，包含 280 個不同領域的數(shù)據(jù)庫，且 train/dev/test 不重復；

?

2）大規(guī)模，包含 5459 個多輪問題組成的列表，一共 17940 個<query, SQL>二元組；

?

3）多輪交互，同一個列表的問題之間會有實體省略等交互現(xiàn)象，類似于 SParc 和 CoSQL；

?

4）中文數(shù)據(jù)集，問題和數(shù)據(jù)庫表名、列名、其中的元素都是中文，相比之下，CSpider 只是將表名、列名字段翻譯為中文。

?

5）標注信息豐富，除了 query 和 SQL，CHASE 額外標注了（1）上下文依賴關系，包括 Coreference 共指、Ellipsis 省略；（2）模式鏈接關系，對于 query 中提到的表名和列名信息進行了標記。

?

下圖是 CHASE 中問題列表的實際例子。

用戶的第一個輸入“哪所大學培養(yǎng)了最多 MVP 球員”屬于獨立問題，沒有可參考的上下文；緊接著第二個問題“狀元呢”直接省略了主語“大學”，完整的問題應該是“哪所大學培養(yǎng)了最多狀元”，模型需要結合歷史信息才能生成正確 SQL。第三個問題同樣類似。

完整的 CHASE 數(shù)據(jù)集由 CHASE-C 和 CHASE-T 兩部分組成。

CHASE-C

CHASE-C 收集了百度去年發(fā)布的 DuSQL [3] 單輪中文數(shù)據(jù)集中的 120 個高質量數(shù)據(jù)庫，包含了運動、教育、娛樂等 60 個子領域；并修復了其中的一些錯誤（例如重復列、缺少的外鍵約束等等）。

?

隨后，作者安排了 12 位中國大學生從頭開始標注具有上下文依賴的問題列表，以及上文介紹的兩種依賴關系，

CHASE-T

CHASE-T 翻譯自 Sparc 數(shù)據(jù)集公開的 train/dev 部分。作者讓參與翻譯的學生修改那些與上下或主題無關的 query 和 SQL，使問題序列更加連貫和自然。

在構建過程中，CHASE-T 發(fā)現(xiàn)并修復了 SParC 中 150 個不正確的 SQL 查詢，并調整了 1470 個 SQL 查詢，使最終的問題序列更加連貫。

下表統(tǒng)計了 CHASE 和其他多輪 Text2SQL 數(shù)據(jù)集的對比信息，可以發(fā)現(xiàn) CHASE 規(guī)模最大，且標注信息最豐富。

?

現(xiàn)有 SOTA 模型效果評測

在實驗部分，作者選取了 IGSQL [4]、RAT-SQL [5]、EditSQL [6] 3種當前? Text2SQL 領域的 SOTA 方法進行對比，采用問題匹配度 Question Match（QM） 和交互匹配度 Interaction Match（IM）兩種評測指標。

?

最終得到了 4 個觀察結論：

?

1）當前 CHASE 上最優(yōu)模型 IGSQL 的 QM 僅為40.4%，相比之下 Sparc 和 CoSQL 上的最高 QM 分別是 60.1% 和 50.8%，表明 CHASE 對未來的研究提出了重大挑戰(zhàn)；

?

2）SOTA 方法在 CHASE-C 上的 QM 和 IM 結果均低于 CHASE-T，證明從頭創(chuàng)建的問題序列更具挑戰(zhàn)性；

?

3）SOTA 方法在 CHASE-T 的表現(xiàn)要比 Sparc 差，原因來自兩方面：（1）CHASE 修復了 Sparc 中的一些 badcase，使得前者更具挑戰(zhàn)性；（2）現(xiàn)有方法只針對英文，在處理中文輸入時可能表現(xiàn)的不那么穩(wěn)定；

?

4）盡管 RAT-SQL 在 Sparc 和 CoSQL 上達到了 SOTA 性能，卻在 CHASE 上遠落后于 EditSQL 和 IGSQL，原因在于 RAT-SQL 采用了一種基于字符串匹配的方法來尋找數(shù)據(jù)庫模式和 query 提及之間的聯(lián)系；然而，當許多模式在問題中沒有被準確提及時（例如涉及語義推理），這種方法就會陷入困境；CHASE 中的模式鏈接標注信息為未來解決這一問題提供了幫助。

▲ 實驗對比

總結

CHASE 是最新的 Text2SQL 高質量多輪交互數(shù)據(jù)集，通過人工標注和 review 豐富了問題的多樣性和凝聚力，貼近實際應用場景的同時增大了 Text2SQL 任務的難度。

?

現(xiàn)有的 SOTA 方法在 CHASE 公開榜單上最高 QM 準確率只有 43.7%，還有巨大的提升空間，對語義理解感興趣的同學不妨來試試刷榜！

?

最后，我在 Github 上整理了一個 Text2SQL 資源倉庫，包含數(shù)據(jù)集、解決方案、paper、落定應用等信息，可以幫助你快速了解 Text2SQL 領域的研究現(xiàn)狀，鏈接：

https://github.com/yechens/NL2SQL

?

參考文獻

[1] Tao Yu, Rui Zhang, et al. 2019b. SParC: Cross-domain semantic parsing in context. In Proceedings of the 57th Annual Meeting of the ACL, pages 4511–4523.

[2] Tao Yu, Rui Zhang, et al. 2019a. CoSQL: A conversational text-to-SQL challenge towards crossdomain natural language interfaces to databases. In Proceedings of the 2019 Conference on EMNLP and the 9th IJCNLP, pages 1962–1979.

[3] Lijie Wang, Ao Zhang, et al. 2020c. DuSQL: A large-scale and pragmatic Chinese text-to-SQL dataset. In Proceedings of the 2020 Conference on EMNLP, pages 6923–6935. Association for Computational Linguistics.

[4] Yitao Cai and Xiaojun Wan. 2020. IGSQL: Database schema interaction graph based neural model for context-dependent text-to-SQL generation. In Proceedings of the 2020 Conference on EMNLP) pages 6903–6912.

[5] Bailin Wang, Richard Shin, et al. 2020a. RATSQL: Relation-aware schema encoding and linking for text-to-SQL parsers. In Proceedings of the 58th Annual Meeting of the ACL, pages 7567–7578.

[6] Rui Zhang, Tao Yu, et al. 2019. Editing-based SQL query generation for cross-domain context-dependent questions. In Proceedings of the 2019 Conference on EMNLP and the 9th IJCNLP, pages 5338–5349.

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質內容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯(lián)系方式（微信），以便我們在稿件選用的第一時間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的ACL 2021｜CHASE: 首个跨领域多轮Text2SQL中文数据集的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。