北京大学 微软：预训练模型（Transformer）中的知识神经元
?作者 | 方魚
單位 | 北京科技大學
研究方向 | 問答系統
大型預訓練語言模型能很好的記憶訓練語料中的事實知識。在這篇文章中，我們探究隱式知識如何存儲在預訓練 Transformers 中，引出了一個概念——知識神經元（Knowledge Neurons）。給定一個關系型事實，我們提出了一個知識歸因方法去識別哪些神經元存儲表示了這個事實。我們提出了這種知識神經元的 activation 是和它們的所表示的知識高度相關的。另外，不需要微調（fine-tuning），我們也能利用知識神經元去顯式地編輯（更新，刪除）特定事實知識。
Contribution：
提出了知識神經元的概念，提出了知識歸因方法，去定位事實知識的特定神經元；
我們進行了定性的和定量的研究，展示了知識神經元和 PTM 表示知識的相關性；
我們演示了如何去修改 Transformers 中的知識（更新，刪除），不需要任何 fine-tuning。
論文標題：
Knowledge Neurons in Pretrained Transformers
論文地址：
https://arxiv.org/abs/2104.08696
作者認為知識神經元是存儲在 FFNs 中的，因為：
Self-Att 和 FFN 的形式類似。所以，將 FFN 視為 key-value bank 是合理的。?
事實知識的定位分為兩步：知識歸因 (Knowledge Attribution)、精煉神經元 (Knowledge Neuron Refining)。
知識歸因 (Knowledge Attribution)
使用積分梯度法（Integrated Gradients）去歸因。積分梯度法是由發表在 PMLR 2017 上的一篇文章《Axiomatic Attribution for Deep Networks》提出的。
論文鏈接：
http://proceedings.mlr.press/v70/sundararajan17a.html
論文介紹：
https://zhuanlan.zhihu.com/p/371240882
這個工作來解釋模型預測和輸入特征之間的關系，使用梯度積分法來計算每一個特征對輸出的歸因。 表示 gold， 表示實際輸入，它們都有 n 個特征，對于每個特征 ，計算出來的 InteGrad 就是這個特征對于最終輸出的歸因，并且所有特征的歸因相加之和，等于實際輸出和 gold 輸出的差。
本文利用了積分梯度法的思想：
的意思代表第 L 個 FFN 的第 i 個中間神經元。
能度量最終的 output 對于這個神經元 的敏感程度。首先計算 的歸因。
由于計算連續的積分是不實際的，我們采用一種近似的方法來計算，這里的 m 取 20。這個也來自于 PMLR 2017 的文章。
通過計算 attribution，我們可以得到每個神經元的分數，通過設置一個閾值 T，來初步篩選出合適的神經元。
精煉神經元 (Knowledge Neuron Refining)
在這一步，我們通過一種精煉策略，去更準確地定位事實知識。雖然經過初篩的知識神經元主要對最后的輸出做貢獻，但是還有很多“false-positive”知識神經元，它們表示其他知識（比如句法信息和詞匯信息），所以，我們通過篩選出這些“false-positive”知識神經元來提升定位效果。
有相同 relation 的不同 prompts，它們的“false-positive”知識神經元不同，因為它們之間有著各種各樣的句法，詞匯信息，但是，它都有相同的事實信息。所以，我們能通過提煉出不同 prompts 之間不共享的神經元，從而定位出那些普遍的事實信息。
所以，對于一個給定的事實：
用 n 個不同的 prompts 去表達這個事實；
對于每個 prompt，計算每一個中間神經元的歸因分數；
對于每個 prompt，設置一個閾值 T，達到這個 T 值的神經元被初步篩選；
對于初步篩選的神經元，設置一個共享閾值 p%（是否被多個 prompt 共享），最終只保留達到這個閾值的神經元。
最終，這個事實就被定位成功了。
實驗
3.1 實驗設置
數據集 ParaRel（TACL2021，測試模型的一致性），每一個關系有 8.64 個不同的 prompt 模板，最多 20 個，最少 2 個，有不同的句法，詞匯變化。?
由于我們的知識歸因和提煉方法對于事實的數量不敏感，所以我們對于每一個關系，采樣 50 個事實。?
使用 BERT-base-cased，它包含 12 個 Transformer 塊，FFN 的 hidden size 是 3072。?
設置 T 為 0.3，p% 為 50%。
Measuring and Improving Consistency in Pretrained Language Models. TACL 2021
分析
通過兩種方式來驗證知識神經元：
抑制：將知識神經元的 activation 為 0；
放大：將只是神經元的 activation 翻倍。
另外還抽樣了一些不相關的事實，用來驗證知識神經元的專有性。結果發現，對神經元的增強和削弱都顯著的提高/降低了準確率。但是不相關的知識基本沒有影響。證實了：1）知識神經元能控制模型表達；2）知識神經元對其知識具有專有性。
4.1 知識神經元是被知識探測Prompt激活的
由于知識神經元的定位是基于 ParaRel 數據集的，所以用這些 Prompt 去比較它們的 activation 是不公平的。我們爬取 Bing 上的信息，獲取新的 Prompt。
對于新數據集，我們比較有多少知識神經元被以下三種 Prompts 激活：1）10 個包含 head 和 tail 的 prompt；2）10 個只包含 head 的 prompt；3）10 個隨機選取的 prompt。
第一個包含了知識，而后兩個不包含。
這個實驗證實：
知識神經元是被知識探測 prompts 激活的；
知識神經元甚至能被泛化到 open-domain 的沒有見過的 prompt。?
我們揭示了事實知識和知識神經元之間的相關性。知識神經元被知識探測 Prompt 激活，被激活的知識神經元通過獲取存儲在 FFN memory 槽中的知識來表示關系知識。
4.2?激活知識神經元的例子
對于一個關系和它的激活神經元，我們輸入 10 個新爬取的 prompts（包含 head 和 tail 實體），將它們放入 PTM 中，去獲取知識神經元的平均激活。然后，我們對這些 prompts 進行排序，保留 top-2（activation 最高的），bottom-2（activation 最低的）。我們發現，top-2 總是表示相應的關系事實，而 bottom-2 盡管包含相同的 head 和 tail 實體，但沒有表示相應的關系。這個發現表明，知識神經元可以捕獲關系事實的語義模式，并且再一次驗證了知識神經元是由知識探測 prompt 激活的。
知識編輯
5.1?更新知識
將 更新為 。知道了這個事實的知識神經元，我們對相應的 value slot（第二個表示 value 的 FFN 層）減去 ，加上 。 和 是它們的 word embedding。
通過這樣的方式，完成知識修改。
5.2 刪除知識?
有一些知識需要被刪除，比如一些不道德的，私人的知識。?
給定一個關系，我們要刪除所有這個關系的知識。我們首先識別和這個知識有關的所有知識神經元。設置一個閾值 m=5。刪除那些被多于 m 個事實所擁有的神經元。我們將這些被刪掉的神經元的 word embedding 改為 [UNK]。?
為了驗證刪除方法的有效性，我們刪除了 4 種關系。并且，為了確保刪除這些關系不會影響到其他關系，我們計算了其他 prompt 的 Perplexity (PPL)，證實了影響很小。
總結
我們發現，放大或抑制知識神經元的激活可以相應地影響對事實的記憶。此外，對開放域文本的定性分析表明，事實的表達與其知識神經元相關。此外，分析描述了我們如何利用知識神經元顯式更新和刪除預訓練 Transformers 中的事實。
盡管識別知識神經元是有效的，但我們目前的研究仍然存在一些局限性。
首先，我們通過填寫空白完形填空查詢來檢驗事實知識，而許多文本以更隱含的方式表達知識。預訓練語言模型能否利用存儲具有一定泛化能力的知識，如推理，這是一個懸而未決的問題。
第二，在我們的實驗中，我們關注關系型知識，因為它們的特殊性和易于評估，即使所提出的方法也可以應用于其他類型的知識。
第三，為了簡單，我們在完形填空中使用 single-word 查詢，這需要一些擴展來支持 multi-word 查詢。此外，一個有趣的方向是找出知識神經元如何在多語言預訓練模型中工作。
特別鳴謝
感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。
更多閱讀
#投 稿?通 道#
?讓你的文字被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝?稿件基本要求：
? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?
? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題
? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬?投稿通道：
? 投稿郵箱：hr@paperweekly.site?
? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者
? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿
△長按添加PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
·
總結
以上是生活随笔為你收集整理的北京大学 微软：预训练模型（Transformer）中的知识神经元的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 板障内脑膜瘤要做什么检查能查出来（板障内
- 下一篇： 今晚八点 | 追问研讨会：我们如何建立更