Sentiment Classification towards Question-Answering with Hierarchical Matching Network 論文閱讀筆記

? ? ? ?這篇論文介紹的是關于電商平臺問答的情感分析，類似淘寶的“問大家”這種形式的問題對，根據問題答案對來分析其中的情感。
論文地址：https://aclweb.org/anthology/D18-1401
數據鏈接地址：https://github.com/clshenNLP/QASC/
代碼地址：暫無代碼。

（1）該論文的貢獻主要有兩個：

提出了一個新問題，即問答情感分析。并且上傳了一份用于研究該問題的標注數據。數據鏈接地址：https://github.com/clshenNLP/QASC/

對這個新問題提出了一種專門的解決方法，即題目中的分層匹配神經網絡。

（2）論文概括

? ? ? ?該論文首先介紹了這個任務描述，然后分析這種任務為什么不適合直接用傳統的情感分析技術來進行研究，并提出了一種專門針對這種問答的情感分析研究方法，叫作分層匹配神經網絡，該方法分為三步：

將問題和答案都分解為一個個短句，然后對于每個Q和A中的短句構建 [Q-sentence, A-sentence]單元。加入Question有N個句子，Answer有M個句子，那么我們就有N*M個這樣的短句匹配單元。

使用一個QA雙向匹配層，將每個[Q-sentence, A-sentence]匹配pair單元編碼為一個向量，以便用于后續情感分析。注意這里的雙向的含義，并不是指使用的是雙向LSTM，而是指作者在計算匹配pair單元表示向量的時候，使用的Attention機制是雙向的，問題短句和答案短句彼此互相做Attention，計算問題短句的時候使用答案短句的表示與之來做Attention，計算答案短句的表示的時候使用問題短句的表示來做Attention，這就是所謂的雙向匹配。

使用自我匹配注意力層（self-matching attention layer）讓模型自動捕捉每個[Q-sentence, A-sentence]匹配向量的重要程度，以便更好的推斷Q-A的情感極性。這里是針對第二步生成的一個個匹配向量又做了一次Self-Matching Attention，這一次是句子級別的Attention。

（3）分層匹配神經網絡結構詳細說明

分層匹配神經網絡的網絡結構如下圖所示：

下面是其中QA雙向匹配機制的詳細結構圖：

? ? ? ?注意上圖是針對問題的第i個句子與回答的第j個句子所組成的問答短句pair來進行分析的，以這樣一個短句pair作為輸入，最后輸出的是這個問答短句pair的一個相關性向量。所以下面的文字中提到的問題句子指的就是問題的第i個句子，回答句子就是回答中的第j個句子，都只是一個短句而已。
? ? ? ?問題句子和答案句子匹配向量的計算思路很簡單，實際上就是把問題句子和答案句子的最終表示拼接在一起，就表示它倆的匹配向量。計算句子表示向量的方法也很簡單，就是把句子作為BiLSTM的輸入，然后對各個時刻的輸出加權求和，權重是通過Attention機制計算出來的，關鍵點也就在這個Attention的計算上，使用的是問題句子表示和答案句子表示彼此互相做Attention的方法，也就是所謂的雙向匹配機制。
? ? ? ?$D_{[i,j]}$中的第[a,b]個元素代表問題句子的第a個單詞與回答句子中的第b個單詞的語義相關性評分。作者采用了兩個Attention，第一種是Answer-to-Question Attention，也就是使用答案句子對問題句子進行Attention。把$D_{[i,j]}$的每一行經過神經網絡處理成權重（上角標r代表row），$D_{[i,j]}$的第k行代表問題句子的第k個單詞與答案句子的每個單詞的相關性，是詞級別的Attention，實際上相當于用$H_{A_j}$與$H_{Q_i}$的每個時刻的輸出進行Attention，然后計算每個時刻的權重，得到$H_{Q_i}$的加權后的表示$V_{[i,j]}^r$。
? ? ? ?其中$H_{Q_i}$是問題Q的第i個句子經過BiLSTM后的表示，$N_i$是時刻數，即問題句子的單詞數；$H_{A_j}$是回答第j個句子經過BiLSTM后的表示，$M_j$是時刻數，即回答第j個句子的單詞數。其中$h_{j,m}\in R^{d^{\prime }}$，即每個單詞（時刻）的表示都是$d^{\prime }$維的。具體計算公式如下：
$$\begin{gathered} \begin{array}{rl}{H}_{Q_i}& =\left[h_{i,1},h_{i,2},\dots ,h_{i,n},\dots ,h_{i,N_i}\right]\\ H_{A_j}& =\left[h_{j,1},h_{j,2},\dots ,h_{j,m},\dots ,h_{j,M_j}\right]\end{array} \\ {D}_{[i,j]}={\left(H_{Q_i}\right)}^{?}?\left(H_{A_j}\right) \\ \begin{array}{c}{U}_{[i,j]}^r=\tanh \left(W_r?D_{[i,j]}^{?}\right)\\ {\alpha }_{[i,j]}^r=\mathrm{softmax}\left(w_r^{?}?U_{[i,j]}^r\right)\end{array} \\ {V}_{[i,j]}^r=\left(H_{Q_i}\right)?{\alpha }_{[i,j]}^r \end{gathered}$$
其中$H_{Q_i}\in R^{d^{\prime }\times N_i},H_{A_j}\in R^{d^{\prime }\times M_j}$，所以$D_{[i,j]}\in R^{N_i\times M_j},W_r\in R^{d^{\prime }\times M_j},w_r\in R^{d^{\prime }}$，所以$U_{[i,j]}^r\in R^{d^{\prime }\times N_i},{\alpha }_{[i,j]}^r\in {\mathbb{R}}^{N_i}，V_{[i,j]}^r\in R^{d^{\prime }}$。
? ? ? ?而第二種顯然就是Question-to-Answer Attention，也就是使用問題句子對回答句子進行Attention。使用問題句子的表示$H_{Q_i}$對答案句子$H_{A_j}$的每個時刻進行Attention，把$D_{[i,j]}$的每一列經過神經網絡處理成權重（上角標c代表column），同理我們最后可以得到答案句子的新表示向量$V_{[i,j]}^c\in R^{d^{\prime }}$，計算公式如下：
$$\begin{gathered} \begin{array}{c}{U}_{[i,j]}^c=\tanh \left(W_c?D_{[i,j]}\right)\\ {\alpha }_{[i,j]}^c=\mathrm{softmax}\left(w_c^{?}?U_{[i,j]}^c\right)\end{array} \\ {V}_{[i,j]}^c=\left(H_{A_j}\right)?{\alpha }_{[i,j]}^c \end{gathered}$$
? ? ? ?最后，這個Q-A短句匹配pair的表示向量$V_{[i,j]}$由$V_{[i,j]}^r$和$V_{[i,j]}^c$拼接表示起來，如下公式所示，$V_{[i,j]}\in R^{2d^{\prime }}$其中$\oplus$代表連接操作符：
$$V_{[i,j]}=V_{[i,j]}^r\oplus V_{[i,j]}^c$$

? ? ? ?使用上面的雙向匹配網絡，我們把$N\times M$個短句匹配單元中的每一個單元作為輸入，都可以輸出一個匹配向量，所有現在我們就得到了$N\times M$個$2d^{\prime }$維的向量，我們把它們拼成一個向量，然后做一個簡單的句子級別的self-Attention，得到最終的的表示，最終再經過一個輸出層即可，$p$就是最終分類的輸出結果（四分類），如下所示：
$$\begin{gathered} \begin{array}{c}V=\left[V_{[1,1]},V_{[1,2]},\dots ,V_{[i,j]},\dots ,V_{[N,M]}\right]\\ U=\tanh \left(W_h?V\right)\\ \alpha =\mathrm{softmax}\left(w_h^{?}?U\right)\end{array} \\ R=V?\alpha \\ p=softmax(W_l?R+B_l) \end{gathered}$$

（4）關于作者分析的標注數據集：

數據來源：淘寶的“問大家”，主要包括美妝、鞋和電子產品這三個領域，每個領域收集了10000條問答對。
標注說明：對于情感分類的標注結果有四類，分別是positive, negative, neutral,conflict。其中conflict代表這個問答對中既包含對整體評價對象的積極情感，又包含消極情感。比如：“Q：這個手機好用嗎？ A：手機使用起來手感很好，非常流暢。但是電池不太好，一會兒就沒電了！”。這個Q-A就會被標注為“conflict”。
而neutral并不一定是中立的，按照作者描述的規則，以下這些情況都會被標注為“neutral”：

答非所問。比如“Q：屏幕清楚嗎？ A：電池壽命很長！”

不確定的回答，“我不知道”這種回答。比如“Q：這款手機怎么樣？ A：不知道，買來送人的”

不包含感情的客觀事實。比如“Q：手機什么顏色？ A：藍色”

對比兩個或多個產品的問答。比如“Q：這款手機和iPhone6相比怎么樣？ A：那決定于你，它們是不可比較的”

總結

以上是生活随笔為你收集整理的Sentiment Classification towards Question-Answering with Hierarchical Matching Network 论文阅读笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。