文 | Sherry

視覺是人和動物最重要的感覺，至少有80%以上的外界信息是經(jīng)過視覺獲得的。我們看論文的時候，通過圖表來確定文章的大致內(nèi)容往往也是一個更高效的 說到深度神經(jīng)網(wǎng)絡(luò)的可視化，最經(jīng)典的莫過于的CNN密恐圖了：

這種可視化方法可以讓我們清晰的知道每一層的每一個Cell關(guān)注何種信息，模型最后是如何逐層迭代處理得到最后的判斷。但是對NLP而言，文字并不容易轉(zhuǎn)換成這樣直觀的視覺表示。對Transformer而言，理解注意力機制是最為關(guān)鍵的一步。比較常見的一種注意力可視化是用灰度圖表示不同token之間的注意力權(quán)重：但這種可視化的一大缺點是，每張圖只能表示一個注意力頭，我們很難獲得一個更直接的全局感受。

喬治亞理工最近提出了DODRIO，一種可交互的Attention可視化工具，從句法和寓意層面總結(jié)了不同注意力頭的信息。Transformer的可解釋性終于有救啦？

趕緊試試他們的Demo吧：
https://poloclub.github.io/dodrio/

論文題目：
DODRIO: Exploring Transformer Models with Interactive Visualization

論文鏈接：
http://arxiv-download.xixiaoyao.cn/pdf/2103.14625.pdf

Github:
https://poloclub.github.io/dodrio/

注意力頭概覽

在概覽圖中，我們可以看到不同層的不同注意力頭都化身成了大小，深淺不一的圓點。本文計算了幾種分數(shù)并用顏色、深淺、大小來表示。

第一個是語義得分m：它是從注意力向量和顯著性得分的cosine相似度得到。

其中S表示的是每個token對模型最終預(yù)測的貢獻程度[1], 表示注意力權(quán)重。圓點顏色越紅，表示這個注意力頭對語義的貢獻越大。

接著是句法得分n: 我們使用最被關(guān)注的源token作為依賴關(guān)系預(yù)測的目標，對于每個依賴關(guān)系，我們計算每個注意力頭在所有樣例上的平均準確性。最后，將每個頭所有依賴關(guān)系中的最大值作為他的句法得分。圓點顏色越藍，表示這個注意力頭對句法的貢獻越大。

然后是重要性得分c：直接計算當(dāng)前頭的最大注意力權(quán)重在所有樣例上的平均

圓點顏色越大表示注意力頭對最終預(yù)測的貢獻越高。

句法依賴

除了注意力頭概覽，本文根據(jù)依賴關(guān)系也給出了注意力頭的分析。

注意力權(quán)重可以被看作是模型對詞之間依賴關(guān)系的預(yù)測。切換到句法依賴的可視化之后，鼠標移動到每個token都會高亮跟這個詞有關(guān)的注意力連接。在展開的依賴關(guān)系圖上還可以看到指定的關(guān)系在不同層的權(quán)重會如何變化。

語義關(guān)系圖

同樣，本文也對語義關(guān)系進行了可視化。點擊每個概覽中的注意力頭即可展開在這個位置的注意力表示。顏色依然表示的是每個token的顯著性得分。

一些結(jié)論

本文的可視化方法再一次驗證了一些之前BERT可解釋性文章的結(jié)論。例如：BERT的中間層更關(guān)注句法信息，以及BERT最后1-2層是分類的關(guān)鍵等。

一個有意思的實驗是DistillBERT和BERT的可視化比較：

我們知道DistillBERT只用了40%的參數(shù)量達到了BERT97%的效果。用Dodrio來比較他們倆會發(fā)現(xiàn)什么呢？DistillBERT的所有注意力頭大小都差不多，進一步分析發(fā)現(xiàn)大多數(shù)頭的置信度都很接近1。另外，DistillBERT的亮度也更高一些，這表示整體每個頭對句法或者語義的關(guān)注度都不高。這些發(fā)現(xiàn)暗示我們，DistillBERT可能學(xué)到了語義和句法之外的信息。

作者：Sherry。

本科畢業(yè)于復(fù)旦數(shù)院，轉(zhuǎn)行NLP目前在加拿大滑鐵盧大學(xué)讀CS PhD。經(jīng)歷了從NOIer到學(xué)數(shù)學(xué)再重回CS的轉(zhuǎn)變，卻堅信AI的未來需要更多來數(shù)學(xué)和自認知科學(xué)的理論指導(dǎo)。主要關(guān)注問答，信息抽取，以及有關(guān)深度模型泛化及魯棒性相關(guān)內(nèi)容。?

[1].Visualizing and Understanding Neural Models in NLP (https://www.aclweb.org/anthology/N16-1082.pdf)

[2].DODRIO: Exploring Transformer Models with Interactive Visualization (http://arxiv-download.xixiaoyao.cn/pdf/2103.14625.pdf)

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯溫州大學(xué)《機器學(xué)習(xí)課程》視頻 本站qq群851320808，加入微信群請掃碼：

總結(jié)

以上是生活随笔為你收集整理的【NLP】可交互的 Attention 可视化工具！我的Transformer可解释性有救了？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。