?PaperWeekly 原創(chuàng) ·?作者｜張琨

學(xué)校｜中國科學(xué)技術(shù)大學(xué)博士生

研究方向｜自然語言處理

論文標(biāo)題：

Making the Relation Matters: Relation of Relation Learning Network for Sentence Semantic Matching

論文作者：

Kun Zhang, Le Wu, Guangyi Lv, Meng Wang, Enhong Chen, Shulan Ruan

論文鏈接：

https://arxiv.org/abs/2012.08920

動機

句子語義關(guān)系匹配是自然語言處理中基礎(chǔ)但重要的一項任務(wù)，并且有著廣泛的應(yīng)用場景，檢索，對話，問答等實際場景都會用到。現(xiàn)有的方法可以大致分為兩類：一類是直接對句子本身進行建模，利用 BERT，LSTM 等方法，或者生成語義表示向量在進行匹配分析，或者從細(xì)粒度的角度直接分析詞，短語之間的匹配；另一類還考慮了標(biāo)簽的信息，因為標(biāo)簽也包含了一定的語義信息，通過 label embedding 的方法補充豐富的信息，從而得到句子語義匹配的關(guān)系。

本文認(rèn)為標(biāo)簽的語義更多的指明了兩個句子的語義關(guān)系，而這部分是被現(xiàn)有研究忽略的，通過對語義關(guān)系的挖掘能夠更深入的挖掘句子的語義信息，抽取與語義關(guān)系相關(guān)的特征，實現(xiàn)更好的句子語義關(guān)系建模。為此，本文提出了 relation of relation modeling，從語義關(guān)系建模的角度進行句子語義關(guān)系匹配建模分析。

方法

首先是模型圖，整體模型分為兩部分，第一部分是編碼部分，第二部分是關(guān)系識別部分。

2.1 編碼部分?

這部分相對比較常規(guī)，首先輸入句子進行拼接之后送給 BERT 進行處理，得到全局的語義表示，這里作者借鑒了 ELMo 的思想，選擇 BERT 每一層的輸出，然后通過任務(wù)相關(guān)的加權(quán)得到合適的句子中每個詞的表示，具體如下：

在此基礎(chǔ)上，考慮到 BERT 關(guān)注的更多的全局信息，對一些局部特征的建模還有所欠缺，作者在這里使用了 CNN 進行局部特征抽取，通過利用不同尺寸的卷積核實現(xiàn)更全面的局部特征抽取：

2.2 關(guān)系識別部分?

這部分是本文主要的貢獻之處，本文首先設(shè)計了一個關(guān)系的關(guān)系分類任務(wù)（Relation of Relation Classification），用于判斷輸入的兩對句子對的語義關(guān)系是否相同，是一個二分類問題，可以形式化表述為：

2.2.1 關(guān)系的關(guān)系分類?

針對這個問題，本文借鑒自監(jiān)督學(xué)習(xí)（self-supervised learning）的思想設(shè)計了一個關(guān)系的關(guān)系分類模塊，要求輸入兩個句子，通過簡單的啟發(fā)式匹配，然后利用一個 MLP 進行二分類，模型圖中的子圖 D 展示了具體的結(jié)構(gòu)，相關(guān)的過程可以表示為：

2.2.2 關(guān)系的對比學(xué)習(xí)?

除此之外，為了進一步準(zhǔn)確建模句子關(guān)系的關(guān)系，作者還將對比學(xué)習(xí)引入到這個模塊中，由于模型最終會學(xué)習(xí)到一個句子對的語義關(guān)系表示向量，因此，作者通過對比學(xué)習(xí)要求模型學(xué)習(xí)的語義關(guān)系表示向量在表示相同語義關(guān)系的時候要近一些，在表示不同語義關(guān)系時要距離的遠(yuǎn)一些，從而使得模型能夠真正學(xué)習(xí)到與關(guān)系相關(guān)的一些不變特征，充分發(fā)揮對比學(xué)習(xí)的作用。具體而言，作者首先利用 MLP 將三個不同輸入的語義關(guān)系表示向量映射到同一空間，然后分別計算正例對和負(fù)例對之間的距離，用于最后的計算。

2.2.3 語義關(guān)系預(yù)測?

本文研究的是句子對之間的語義關(guān)系，因此還有一個模塊用于預(yù)測兩個句子之間的語義關(guān)系，這點就比較簡單了，直接用一個 mlp 和一個 softmax 函數(shù)進行預(yù)測就可以了。

2.3 損失函數(shù)

本文的方法不僅需要預(yù)測兩個句子之間的語義關(guān)系，還需要預(yù)測兩個句子對之間的語義關(guān)系是否相同，而且還要去優(yōu)化對比學(xué)習(xí)的目標(biāo)，因此作者使用了三個函數(shù)，并通過加權(quán)的形式將其整合起來。具體如下：

以上就是整個技術(shù)部分的細(xì)節(jié)。

實驗

在實驗部分，作者分別在自然語言推理（Natural Language Inference，NLI）任務(wù)和釋義識別（paraphrase identification，PI）任務(wù)上進行比較，部分實驗結(jié)果如下圖：

除此之外，作者還將表征好的語義關(guān)系表示向量使用 T-sne 進行可視化展示，從實驗結(jié)果中可以看出，本文的方法學(xué)習(xí)到的語義關(guān)系表示向量能夠更有效的區(qū)分不同的語義關(guān)系（相同語義關(guān)系離的更近，不同語義管理距離的更遠(yuǎn)）。

總結(jié)

從本文中可以看出，方法比較簡單，作者這是額外設(shè)計了一些新的利用語義關(guān)系的任務(wù)，同時利用對比學(xué)習(xí)對語義關(guān)系進行深入挖掘，從而進一步提升了語義匹配識別任務(wù)的效果，可以說是簡單有效。而且本文提出的方法能夠方便遷移到其他模型上，具有良好的可擴展性，是一篇很不錯的文章。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的AAAI 2021 | 从语义关系建模的角度进行句子语义关系匹配的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。