之前存在的問題：當所要處理的序列較長時，就會導致網(wǎng)絡(luò)容易忘記之前的東西

解決辦法：提出了“注意力”機制，使得網(wǎng)絡(luò)工作過程中可以像人一樣將注意力放在不同部位。這篇論文就針對文本分類問題提出了層級注意力模型結(jié)合雙向RNN實現(xiàn)對文本的分類，其效果明顯好于其他方法。
?

模型結(jié)構(gòu):

層級“注意力”網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)下圖所示，網(wǎng)絡(luò)可以被看作為兩部分：

第一部分為詞“注意”部分，

另一部分為句“注意”部分。

整個網(wǎng)絡(luò)通過將一個句子分割為幾部分，對于每部分，都使用雙向RNN結(jié)合“注意力”機制將小句子映射為一個向量，然后對于映射得到的一組序列向量，我們再通過一層雙向RNN結(jié)合“注意力”機制實現(xiàn)對文本的分類

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

詞層面的“注意力”機制

本文針對的是任務(wù)是文檔分類任務(wù)，即認為每個要分類的文檔都可以分為多個句子。因此層級“注意力”模型的第一部分是來處理每一個分句。對于第一個雙向RNN輸入是每句話的每個單詞，其計算公式如下所示

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

但是對于一句話中的單詞，并不是每一個單詞對分類任務(wù)都是有用的，比如在做文本的情緒分類時，可能我們就會比較關(guān)注“很好”、“傷感”這些詞。為了能使循環(huán)神經(jīng)網(wǎng)絡(luò)也能自動將“注意力”放在這些詞匯上，作者設(shè)計了基于單詞的注意力模型，其計算公式如下：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

首先，通過一個線性層對雙向RNN的輸出進行變換，然后通過softmax公式計算出每個單詞的重要性，最后通過對雙向RNN的輸出進行加權(quán)平均得到每個句子的表示。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

句層面的“注意力”機制

句層面的“注意力”模型和詞層面的“注意力”模型有異曲同工之妙。其計算公式如下所示

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

最后就是使用最常用的softmax分類器對整個文本進行分類

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

損失函數(shù)

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

參考連接：

https://blog.csdn.net/qq_24305433/article/details/80427159

https://blog.csdn.net/liuchonge/article/details/73610734

https://blog.csdn.net/liuchonge/article/details/74092014

?

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Hierarchical Attention Networks for Document Classification 阅读笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。