?PaperWeekly 原創(chuàng) ·?作者 |?王馨月

學(xué)校?|?四川大學(xué)

研究方向?|?自然語(yǔ)言處理

Information Flow in BERT

論文標(biāo)題：

Influence Patterns for Explaining Information Flow in BERT

論文鏈接：

https://arxiv.org/abs/2011.00740

基于注意力的 transformer 模型（如 BERT）表現(xiàn)良好，但信息如何從輸入 token 流向輸出預(yù)測(cè)尚不清楚。作者引入了一種解析 transformer 性能的方法——影響模式。影響模式是通過(guò) transformer 模型的路徑集的抽象，量化和本地化信息流到通過(guò)一系列模型節(jié)點(diǎn)的路徑。通過(guò)實(shí)驗(yàn)，作者發(fā)現(xiàn) BERT 中的大部分信息流都通過(guò) skip 連接而不是注意力頭。作者進(jìn)一步表明，跨實(shí)例模式的一致性是一種評(píng)價(jià) BERT 性能的指標(biāo)。最后，作者證明了模式比以前基于注意力和基于層的方法更能解釋模型性能。

作者通過(guò)基于梯度的歸因方法的替代視角來(lái)研究信息流問(wèn)題。通過(guò) transformer 的整個(gè)計(jì)算圖引入影響模式——基于梯度的路徑集的抽象。作者還引入了一種貪婪搜索程序，用于高效地查找代表概念關(guān)鍵信息流的模式。下圖提供了 BERT 中的影響模式示例。

圖中展示的是 SVA 任務(wù)實(shí)例的 BERT 架構(gòu)（左）和 transformer 層的細(xì)節(jié)（右），用于評(píng)估模型是否選擇了正確的動(dòng)詞形式，以供 [MASK] 與主題一致 。模式的示例用紅色節(jié)點(diǎn)突出顯示。

通過(guò)將 BERT 視為一個(gè)計(jì)算圖，作者重申了這個(gè)問(wèn)題：給定一個(gè)源節(jié)點(diǎn) s 和一個(gè)目標(biāo)節(jié)點(diǎn) t，我們尋找從 s 到 t 的重要節(jié)點(diǎn)模式，該模式顯示了來(lái)自 s 的影響如何從一個(gè)節(jié)點(diǎn)到另一個(gè)節(jié)點(diǎn)遍歷，最后到達(dá) t。在較小的網(wǎng)絡(luò)中，可以采用從 s 流向 t 的影響量對(duì)所有路徑進(jìn)行排序的詳盡方法。然而，類(lèi)似的方法缺乏對(duì)像 BERT 這樣的大型模型的可擴(kuò)展性。因此，作者提出了一種方法來(lái)貪婪地將搜索空間從所有可能的路徑縮小到特定模式，將抽象模式提煉為更具體的模式，保持較高的影響力。

下圖是引導(dǎo)模式細(xì)化 (Guided Pattern Refinement, GPR) 的圖示。從僅包含源節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)的模式 開(kāi)始。在每一步，分別定義一個(gè)引導(dǎo)集 和 ，并在引導(dǎo)集中找到最大化模式影響的節(jié)點(diǎn)。GPR 最終返回一個(gè)模式 抽象出單個(gè)路徑。

下圖中（a）（b）是 SVA-Obj 的兩個(gè)實(shí)例的模式。（c）是基線(xiàn)模式 。對(duì)于每個(gè)圖，左邊是位置 i 的單詞的：分布影響 （黃色）、，（紫色）和 （藍(lán)色）。右邊是從選擇詞中提取的模式 。方形節(jié)點(diǎn)和圓形節(jié)點(diǎn)分別表示輸入和內(nèi)部 embedding。在（a）和（b）中，通過(guò) skip 連接的影響用虛線(xiàn)表示，注意力頭用實(shí)線(xiàn)表示；邊在 中標(biāo)有對(duì)應(yīng)的注意力頭編號(hào)（范圍從 1 到 A）。線(xiàn)條顏色代表影響的標(biāo)志（紅色為負(fù)面，綠色為正面）。

下圖是作者對(duì)影響模式的可視化研究。（a）是來(lái)自 SP、SVA-obj 的三個(gè)從句動(dòng)詞的模式。（b）是 SA 任務(wù)中兩個(gè)實(shí)例的模式。

下圖是作者實(shí)驗(yàn)得出的任務(wù)表現(xiàn)、影響大小與模式熵的關(guān)系。

作者對(duì)幾個(gè) NLP 任務(wù)的影響模式進(jìn)行了廣泛的實(shí)證研究：主謂一致（SVA）、反身回指（RA）和情感分析（SA）。將發(fā)現(xiàn)總結(jié)如下：

• BERT 中的很大一部分信息流通過(guò) skip 連接而不是注意力頭，這表明注意力權(quán)重本身不足以表征信息流。實(shí)驗(yàn)表明，平均而言，重要信息通過(guò) skip 連接的頻率是注意力的 3 倍。

• 通過(guò)可視化提取的模式，作者展示了單詞的信息流如何在模型內(nèi)部交互，并且 BERT 可能會(huì)使用語(yǔ)法錯(cuò)誤的線(xiàn)索進(jìn)行預(yù)測(cè)。

• 任務(wù)實(shí)例間影響模式的一致性反映了 BERT 在該任務(wù)上的表現(xiàn)。

• 通過(guò)消融實(shí)驗(yàn)，作者發(fā)現(xiàn)影響模式在 BERT 中解釋信息流的準(zhǔn)確度分別比先前的基于注意力和基于層的解釋方法高 74% 和 25%。

這篇論文提供了一種研究 transformer 可解釋性的新思路，值得閱讀。

Is Automated Topic Model Evaluation Broken?

論文標(biāo)題：

Is Automated Topic Model Evaluation Broken?: The Incoherence of Coherence

論文鏈接：

https://arxiv.org/abs/2107.02173

這篇論文作者對(duì)沒(méi)有人工判斷的全自動(dòng)評(píng)估的有效性提出了質(zhì)疑：自動(dòng)評(píng)估產(chǎn)生了模型之間的區(qū)別，而相應(yīng)的人工評(píng)估則沒(méi)有。作者提出神經(jīng)主題模型評(píng)估的實(shí)踐存在驗(yàn)證差距：尚未使用人體實(shí)驗(yàn)驗(yàn)證神經(jīng)模型的自動(dòng)一致性。并且使用自動(dòng)化主題建模基準(zhǔn)方面存在巨大的標(biāo)準(zhǔn)化差距。

作者解決了主題模型評(píng)估中標(biāo)準(zhǔn)化差距和驗(yàn)證差距。主要完成了以下工作：

提出了神經(jīng)主題模型評(píng)估的元分析，以準(zhǔn)確表征當(dāng)前的事態(tài)；

開(kāi)發(fā)了兩個(gè)廣泛使用的評(píng)估數(shù)據(jù)集的標(biāo)準(zhǔn)化、預(yù)處理版本，以及用于再現(xiàn)結(jié)果的透明端到端代碼；

使用相同的預(yù)處理、模型選擇標(biāo)準(zhǔn)和超參數(shù)調(diào)整優(yōu)化了三個(gè)主題模型——一個(gè)經(jīng)典模型和兩個(gè)神經(jīng)模型；

使用評(píng)分和單詞入侵任務(wù)獲得對(duì)這些模型的人工評(píng)估；

提供了自動(dòng)評(píng)估和人工評(píng)估之間相關(guān)性的新評(píng)估。

實(shí)驗(yàn)所得結(jié)論表明，自動(dòng)主題模型評(píng)估已經(jīng)過(guò)時(shí)了，需要仔細(xì)重新考慮。

人工判斷與自動(dòng)度量之間存在差異的原因之一是度量偏向于更深?yuàn)W的主題。具體而言，主題的 NPMI / Cv 與報(bào)告熟悉程度的受訪者比例之間存在顯著的負(fù)相關(guān)。然而，即使在過(guò)濾掉不熟悉主題術(shù)語(yǔ)的受訪者之后，自動(dòng)化指標(biāo)仍然夸大了模型差異。

因此，主題模型評(píng)估本身似乎可以使用全新的觀點(diǎn)。在這一點(diǎn)上，Doogan 和 Buntine 在 2021 年寫(xiě)道“為舊模型設(shè)計(jì)的一致性度量 [. . . ] 可能與較新的模型不兼容，”并且他們主張以語(yǔ)料庫(kù)探索和標(biāo)記為中心的評(píng)估范式。作者認(rèn)為這種重新評(píng)估的正確起點(diǎn)是承認(rèn)任何評(píng)估和指標(biāo)都是一些現(xiàn)實(shí)世界問(wèn)題場(chǎng)景的抽象。

例如，在信息檢索中常見(jiàn)的 precision-at-10 用法是對(duì)用戶(hù)只愿意考慮檢索到的前十個(gè)文檔的場(chǎng)景的抽象。在未來(lái)的工作中，可以探索能夠更好地近似真實(shí)世界主題模型用戶(hù)偏好的自動(dòng)化指標(biāo)。

主題模型的一個(gè)主要用途是在計(jì)算機(jī)輔助內(nèi)容分析中。在這種情況下，與其采取方法驅(qū)動(dòng)的評(píng)估方法，不如采取需求驅(qū)動(dòng)的方法。需要重新審視使用像 NYT 這樣的領(lǐng)域通用語(yǔ)料庫(kù)對(duì)主題模型進(jìn)行通用評(píng)估的想法，因?yàn)闆](méi)有用于內(nèi)容分析的“通用”語(yǔ)料庫(kù)，也沒(méi)有通用分析師。

正如 Krippendorff（2004）所表明的那樣，內(nèi)容分析可以用廣泛的方式來(lái)表述，但它的實(shí)際應(yīng)用始終是在一個(gè)領(lǐng)域中，由熟悉該領(lǐng)域的人使用。這一事實(shí)與通用語(yǔ)料庫(kù)和眾包注釋的理想實(shí)用性存在矛盾，該領(lǐng)域需要解決這種矛盾。我們已經(jīng)將“連貫性”確定為在讀者腦海中喚出一個(gè)潛在的概念。因此，我們必須考慮相關(guān)的人類(lèi)讀者是誰(shuí)以及對(duì)他們來(lái)說(shuō)重要的概念空間。

QCFG

論文標(biāo)題：

Sequence-to-Sequence Learning with Latent Neural Grammars

論文鏈接：

https://arxiv.org/abs/2109.01135

項(xiàng)目地址：

https://github.com/yoonkim/neural-qcfg

使用神經(jīng)網(wǎng)絡(luò)進(jìn)行序列到序列學(xué)習(xí)已成為序列預(yù)測(cè)任務(wù)的事實(shí)上的標(biāo)準(zhǔn)。這種方法通常使用可以根據(jù)任意上下文進(jìn)行調(diào)節(jié)的強(qiáng)大神經(jīng)網(wǎng)絡(luò)對(duì)下一個(gè)單詞的局部分布進(jìn)行建模。雖然靈活且高效，但這些模型通常需要大型數(shù)據(jù)集進(jìn)行訓(xùn)練，并且在旨在測(cè)試組合泛化的基準(zhǔn)測(cè)試中可能會(huì)失敗。

作者探索了使用潛在神經(jīng)語(yǔ)法進(jìn)行序列到序列學(xué)習(xí)的另一種分層方法。首先，使用準(zhǔn)同步上下文無(wú)關(guān)語(yǔ)法（quasi-synchronous context-free grammars, QCFG） 對(duì)目標(biāo)序列上的分布進(jìn)行建模，該語(yǔ)法假設(shè)一個(gè)分層生成過(guò)程，其中目標(biāo)樹(shù)中的每個(gè)節(jié)點(diǎn)都被源樹(shù)中的節(jié)點(diǎn)轉(zhuǎn)換。這種節(jié)點(diǎn)級(jí)對(duì)齊為每個(gè)輸出部分的生成方式提供了出處和因果機(jī)制，從而使生成過(guò)程更具可解釋性。

作者還發(fā)現(xiàn)，與非層次模型相比，源端和目標(biāo)端層次結(jié)構(gòu)的顯式建模改進(jìn)了組合泛化。其次，與將經(jīng)常觀察到的樹(shù)結(jié)構(gòu)合并到使用神經(jīng)網(wǎng)絡(luò)的序列建模的現(xiàn)有工作線(xiàn)相比，作者將源樹(shù)和目標(biāo)樹(shù)視為完全潛在的，并在訓(xùn)練期間誘導(dǎo)它們。

最后，雖然以前關(guān)于同步語(yǔ)法的工作通常在手工/流水線(xiàn)特征上使用對(duì)數(shù)線(xiàn)性模型，但作者利用神經(jīng)特征來(lái)參數(shù)化語(yǔ)法的規(guī)則概率，這使得在推導(dǎo)規(guī)則的組合空間上有效共享參數(shù)，而無(wú)需任何手動(dòng)特征工程。作者還直接將語(yǔ)法用于端到端生成，而不是作為更大流水線(xiàn)系統(tǒng)的一部分。

作者將這種潛在的神經(jīng)語(yǔ)法應(yīng)用于各種領(lǐng)域——一種旨在測(cè)試組合泛化（SCAN）、風(fēng)格遷移和小規(guī)模機(jī)器翻譯的診斷語(yǔ)言導(dǎo)航任務(wù)——并發(fā)現(xiàn)它與標(biāo)準(zhǔn) baseline 相比表現(xiàn)可觀。

下圖顯示了作者在 SCAN 上針對(duì)各種基線(xiàn)的結(jié)果。雖然許多方法幾乎可以完美地解決這個(gè)數(shù)據(jù)集，但它們經(jīng)常利用特定于 SCAN 的知識(shí)，這妨礙了它們直接應(yīng)用于非合成領(lǐng)域。神經(jīng) QCFG 表現(xiàn)出色，同時(shí)保持領(lǐng)域不可知。

下圖展示了一些頻繁出現(xiàn)的規(guī)則示例，這些規(guī)則基于它們?cè)谔砑釉Z(yǔ)（跳轉(zhuǎn)）拆分的訓(xùn)練集上的 MAP 目標(biāo)樹(shù)計(jì)數(shù)。許多規(guī)則是合理的，它們進(jìn)一步說(shuō)明了對(duì)多個(gè)非終結(jié)符的需求。例如，為了在只有一元和二元規(guī)則的語(yǔ)法中處理“x x x”形式的源短語(yǔ)，模型在與同一短語(yǔ)組合時(shí)以不同的方式使用非終結(jié)符 N1 和 N8。

下圖展示了從 SCAN 的添加原語(yǔ)（跳轉(zhuǎn)）拆分的測(cè)試集上的神經(jīng) QCFG 生成的示例。從學(xué)習(xí)到的源解析器的誘導(dǎo)樹(shù)顯示在左側(cè)，目標(biāo)樹(shù)推導(dǎo)顯示在右側(cè)。節(jié)點(diǎn)級(jí)對(duì)齊為每個(gè)目標(biāo)跨度提供了明確的出處，從而使生成過(guò)程比標(biāo)準(zhǔn)注意力機(jī)制更易于解釋。這些比對(duì)還可用于診斷和糾正系統(tǒng)錯(cuò)誤。

例如，有時(shí)模型在根節(jié)點(diǎn)處錯(cuò)誤地將“x {and,after} y”拆分為“x x”（或“y y”）。當(dāng)我們?cè)诮獯a過(guò)程中手動(dòng)禁止這種拆分時(shí)，性能全面提高了 1%-2%，展示了基于語(yǔ)法的模型的好處，它可以通過(guò)干預(yù)推導(dǎo)規(guī)則集來(lái)直接操縱模型生成。

下圖是用這種方法做 Penn Treebank 上從主動(dòng)到被動(dòng)風(fēng)格遷移任務(wù)的測(cè)試示例。從學(xué)習(xí)到的源解析器的誘導(dǎo)樹(shù)顯示在左側(cè)，目標(biāo)樹(shù)推導(dǎo)顯示在右側(cè)。源樹(shù)在語(yǔ)言上不正確，但模型仍然能夠正確轉(zhuǎn)換輸出。

同樣作者還用這種方法實(shí)現(xiàn)了機(jī)器翻譯任務(wù)，可以進(jìn)一步在原文中查看示例。雖然可以實(shí)現(xiàn)，但結(jié)果明顯低于訓(xùn)練良好的 transformer 模型。

作者認(rèn)為，就語(yǔ)法和其他具有符號(hào)組件的模型而言，與標(biāo)準(zhǔn)方法相比，這篇文章提出的方法能夠更好地表達(dá)模型決策，它們可能在開(kāi)發(fā)更可控和可解釋的模型方面發(fā)揮作用，尤其是在協(xié)作人機(jī)系統(tǒng)的背景下。

或者，過(guò)去曾使用具有強(qiáng)歸納偏差的不靈活模型以各種方式引導(dǎo)（過(guò)度）靈活的神經(jīng)模型，例如通過(guò)幫助生成額外數(shù)據(jù)或誘導(dǎo)結(jié)構(gòu)來(lái)規(guī)范/增強(qiáng)模型。在這種情況下，探索如何將語(yǔ)法中的誘導(dǎo)結(jié)構(gòu)與靈活的神經(jīng)模型結(jié)合使用可能會(huì)很有趣。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

📝?稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開(kāi)渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫(xiě)，文中配圖以附件形式發(fā)送，要求圖片清晰，無(wú)版權(quán)問(wèn)題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來(lái)稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專(zhuān)欄吧

·

總結(jié)

以上是生活随笔為你收集整理的NeurIPS 2021有哪些值得读的NLP论文？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。