?PaperWeekly 原創 ·?作者｜張琨

學校｜中國科學技術大學博士生

研究方向｜自然語言處理

論文標題：

Making the Relation Matters: Relation of Relation Learning Network for Sentence Semantic Matching

論文作者：

Kun Zhang, Le Wu, Guangyi Lv, Meng Wang, Enhong Chen, Shulan Ruan

論文鏈接：

https://arxiv.org/abs/2012.08920

動機

句子語義關系匹配是自然語言處理中基礎但重要的一項任務，并且有著廣泛的應用場景，檢索，對話，問答等實際場景都會用到。現有的方法可以大致分為兩類：一類是直接對句子本身進行建模，利用 BERT，LSTM 等方法，或者生成語義表示向量在進行匹配分析，或者從細粒度的角度直接分析詞，短語之間的匹配；另一類還考慮了標簽的信息，因為標簽也包含了一定的語義信息，通過 label embedding 的方法補充豐富的信息，從而得到句子語義匹配的關系。

本文認為標簽的語義更多的指明了兩個句子的語義關系，而這部分是被現有研究忽略的，通過對語義關系的挖掘能夠更深入的挖掘句子的語義信息，抽取與語義關系相關的特征，實現更好的句子語義關系建模。為此，本文提出了 relation of relation modeling，從語義關系建模的角度進行句子語義關系匹配建模分析。

方法

首先是模型圖，整體模型分為兩部分，第一部分是編碼部分，第二部分是關系識別部分。

2.1 編碼部分?

這部分相對比較常規，首先輸入句子進行拼接之后送給 BERT 進行處理，得到全局的語義表示，這里作者借鑒了 ELMo 的思想，選擇 BERT 每一層的輸出，然后通過任務相關的加權得到合適的句子中每個詞的表示，具體如下：

在此基礎上，考慮到 BERT 關注的更多的全局信息，對一些局部特征的建模還有所欠缺，作者在這里使用了 CNN 進行局部特征抽取，通過利用不同尺寸的卷積核實現更全面的局部特征抽取：

2.2 關系識別部分?

這部分是本文主要的貢獻之處，本文首先設計了一個關系的關系分類任務（Relation of Relation Classification），用于判斷輸入的兩對句子對的語義關系是否相同，是一個二分類問題，可以形式化表述為：

2.2.1 關系的關系分類?

針對這個問題，本文借鑒自監督學習（self-supervised learning）的思想設計了一個關系的關系分類模塊，要求輸入兩個句子，通過簡單的啟發式匹配，然后利用一個 MLP 進行二分類，模型圖中的子圖 D 展示了具體的結構，相關的過程可以表示為：

2.2.2 關系的對比學習?

除此之外，為了進一步準確建模句子關系的關系，作者還將對比學習引入到這個模塊中，由于模型最終會學習到一個句子對的語義關系表示向量，因此，作者通過對比學習要求模型學習的語義關系表示向量在表示相同語義關系的時候要近一些，在表示不同語義關系時要距離的遠一些，從而使得模型能夠真正學習到與關系相關的一些不變特征，充分發揮對比學習的作用。具體而言，作者首先利用 MLP 將三個不同輸入的語義關系表示向量映射到同一空間，然后分別計算正例對和負例對之間的距離，用于最后的計算。

2.2.3 語義關系預測?

本文研究的是句子對之間的語義關系，因此還有一個模塊用于預測兩個句子之間的語義關系，這點就比較簡單了，直接用一個 mlp 和一個 softmax 函數進行預測就可以了。

2.3 損失函數

本文的方法不僅需要預測兩個句子之間的語義關系，還需要預測兩個句子對之間的語義關系是否相同，而且還要去優化對比學習的目標，因此作者使用了三個函數，并通過加權的形式將其整合起來。具體如下：

以上就是整個技術部分的細節。

實驗

在實驗部分，作者分別在自然語言推理（Natural Language Inference，NLI）任務和釋義識別（paraphrase identification，PI）任務上進行比較，部分實驗結果如下圖：

除此之外，作者還將表征好的語義關系表示向量使用 T-sne 進行可視化展示，從實驗結果中可以看出，本文的方法學習到的語義關系表示向量能夠更有效的區分不同的語義關系（相同語義關系離的更近，不同語義管理距離的更遠）。

總結

從本文中可以看出，方法比較簡單，作者這是額外設計了一些新的利用語義關系的任務，同時利用對比學習對語義關系進行深入挖掘，從而進一步提升了語義匹配識別任務的效果，可以說是簡單有效。而且本文提出的方法能夠方便遷移到其他模型上，具有良好的可擴展性，是一篇很不錯的文章。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的AAAI 2021 | 从语义关系建模的角度进行句子语义关系匹配的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。