?作者?|?張宇

單位?|?蘇州大學博士生

研究方向?|?句法分析/語義分析

語義角色標注（SRL）是 NLP 中一個基礎且重要的任務，主要涉及謂詞和論元的識別，以及相應的角色標簽標注等等。

最近主流的 SRL 方法主要分為 BIO-based 和 span-based。前者將 SRL 視為序列標注，而后者則是將 SRL 視為對于 <謂詞，論元頭，論元尾> 這樣三元組的預測。然而這兩種方法都有一些共有的缺陷，忽視了對于論元內部結構建模。

這種內部結構在直覺上對于 SRL 很有效，例如在上面的圖中，謂詞 take 對應的論元「out of the market」的標簽為 A2，這種關系可以反映在 take 到論元中心詞 out 的弧中，此外，該論元的邊界也和相應的子樹邊界完美對應。如果捕捉到內部結構信息，可以有效引導角色標簽分類以及論元識別這兩個子任務。然而由于 SRL 是一個 shallow parsing task，缺乏層次化的結構標注，這種內部結構還很少被前人工作利用。

基于這些觀察，我們提出將平坦論元結構建模為隱式（latent）依存子樹。通過這種方式，我們可以方便地將 SRL 歸納成一個依存句法分析任務。基于這種歸納，我們可以無縫利用已有的一些成熟的依存句法分析技術，例如 TreeCRF、高階建模等等，來進行全局概率推斷。我們的方法不需要預先指定謂詞以及依存句法樹，因此是 end-to-end 的。我們的代碼將于近期開源。

論文標題：

Semantic Role Labeling as Dependency Parsing: Exploring Latent Tree Structures Inside Arguments

論文鏈接：

https://arxiv.org/pdf/2110.06865.pdf

代碼鏈接：

https://github.com/yzhangcs/crfsrl

Methodology

我們的方法主要分為兩個階段：1）通過一定的規則將 SRL 結構轉化為依存句法樹；2）基于給定的依存句法樹學習一個 parser，然后通過后處理過程將預測出的 dependency trees 恢復為 SRL 結構。

上圖給出了我們方法的主要步驟。

SRL->Tree

首先是將 SRL 轉化成樹結構，圖 2b 給了一個例子，對于謂詞 take，首先我們構建一條根到謂詞的弧 0->take，弧標簽設為 PRD，接著構建謂詞到論元/非論元的子樹. 對于一個像「to do more」這樣的論元 span，我們連接一條謂詞 take 到該論元的弧，將論元標簽 A1 設為這條弧的標簽，剩下的內部的弧「to do more」我們不做任何假設，將這個部分視為未被 realize 的 latent tree，允許任何連接，并且不分配標簽。對于非論元span，操作類似，除了我們將謂詞到 span 的標簽設為 O（例如 want->.）。

通過上面這種方式，我們將一個 SRL 圖轉化為了若干個以謂詞為根的 partially-observed trees。

Dependency parsing with span-constrained (second-order) TreeCRF?

我們使用類似于經典 Biaffine Parser 的架構來學習上面轉化得到的樹，在打分器后面我們后接了一個 TreeCRF 來進行全局推斷，最大化樹概率，并進一步提出了一個帶兄弟（siblings）信息的二階拓展。最終訓練的目標函數如下：

訓練時我們將最大化 SRL 圖 g?的概率近似為最大化上述轉化得到的依存樹概率，并對此按謂詞分解，每個謂詞對應的依存樹概率為：

上面的公式我們通過復雜度為??的 TreeCRF 來計算，得到相應的樹概率，其中 latent subtree 在訓練過程中會被 marginalize 掉。一個主要的問題是經典的 TreeCRF 考慮的是所有候選樹，然而在我們的場景中引入了許多 span 的約束，要求轉化出來的依存樹應當滿足 SRL 的圖結構，而這些 span constraints 沒法被典型 TreeCRF 達成。

有鑒于此，在本文中我們提出了一個 span-constrained 的 TreeCRF，并將之推廣到了二階的場景，下圖給出了相應的 deduction rules。

Recovery?

通過上面的方法得到一個句法分析器之后，我們剩下需要做的是利用該分析器預測句法樹，并恢復為 SRL 圖結構。恢復過程非常簡單：

1. 由于弧標簽的概率分布和樹結構獨立，因此我們首先對 0->i 的弧進行分類，對于標簽為 PRD 的弧，我們認為 i 是謂詞，并解碼出剩下的樹結構。

2. 從謂詞 i 到其他詞，我們認為他們是論元 span 的中心詞，并以他們為起始，自底向下做遍歷，將子樹坍縮成一個平坦的謂詞。

3. 最終我們收集所有形成的謂詞及其論元，得到最終的 SRL 預測 g'。

Experiments

我們在 CoNLL05 和 CoNLL12 兩個基準數據集上做實驗，下表給出了實驗結果:

在不給定謂詞的場景下，我們的一階方法 CRF 以及二階方法 CRF2o 顯著的超越了前人的結構，并且優勢在 CoNLL05 out-of-domain Brown 數據上尤為顯著. 在給定謂詞場景下，CRF2o 使用 BERT 之后在 CoNLL05 Test 上和現有最好的結果 88.8 相近，并在 CoNLL12 上達到 87.57，顯著超過了他們的 86.5。使用 RoBERTa 之后，CRF2o 在三個數據上達到了 89.63，83.72 以及 88.32 的 F1 值，達到了新的 state-of-the-art。

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的语义角色标注视为依存句法分析任务：探索论元内部的隐式树结构的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。