Sentiment Classification towards Question-Answering with Hierarchical Matching Network 論文閱讀筆記

? ? ? ?這篇論文介紹的是關(guān)于電商平臺(tái)問答的情感分析，類似淘寶的“問大家”這種形式的問題對(duì)，根據(jù)問題答案對(duì)來分析其中的情感。
論文地址：https://aclweb.org/anthology/D18-1401
數(shù)據(jù)鏈接地址：https://github.com/clshenNLP/QASC/
代碼地址：暫無代碼。

（1）該論文的貢獻(xiàn)主要有兩個(gè)：

提出了一個(gè)新問題，即問答情感分析。并且上傳了一份用于研究該問題的標(biāo)注數(shù)據(jù)。數(shù)據(jù)鏈接地址：https://github.com/clshenNLP/QASC/

對(duì)這個(gè)新問題提出了一種專門的解決方法，即題目中的分層匹配神經(jīng)網(wǎng)絡(luò)。

（2）論文概括

? ? ? ?該論文首先介紹了這個(gè)任務(wù)描述，然后分析這種任務(wù)為什么不適合直接用傳統(tǒng)的情感分析技術(shù)來進(jìn)行研究，并提出了一種專門針對(duì)這種問答的情感分析研究方法，叫作分層匹配神經(jīng)網(wǎng)絡(luò)，該方法分為三步：

將問題和答案都分解為一個(gè)個(gè)短句，然后對(duì)于每個(gè)Q和A中的短句構(gòu)建 [Q-sentence, A-sentence]單元。加入Question有N個(gè)句子，Answer有M個(gè)句子，那么我們就有N*M個(gè)這樣的短句匹配單元。

使用一個(gè)QA雙向匹配層，將每個(gè)[Q-sentence, A-sentence]匹配pair單元編碼為一個(gè)向量，以便用于后續(xù)情感分析。注意這里的雙向的含義，并不是指使用的是雙向LSTM，而是指作者在計(jì)算匹配pair單元表示向量的時(shí)候，使用的Attention機(jī)制是雙向的，問題短句和答案短句彼此互相做Attention，計(jì)算問題短句的時(shí)候使用答案短句的表示與之來做Attention，計(jì)算答案短句的表示的時(shí)候使用問題短句的表示來做Attention，這就是所謂的雙向匹配。

使用自我匹配注意力層（self-matching attention layer）讓模型自動(dòng)捕捉每個(gè)[Q-sentence, A-sentence]匹配向量的重要程度，以便更好的推斷Q-A的情感極性。這里是針對(duì)第二步生成的一個(gè)個(gè)匹配向量又做了一次Self-Matching Attention，這一次是句子級(jí)別的Attention。

（3）分層匹配神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)詳細(xì)說明

分層匹配神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

下面是其中QA雙向匹配機(jī)制的詳細(xì)結(jié)構(gòu)圖：

? ? ? ?注意上圖是針對(duì)問題的第i個(gè)句子與回答的第j個(gè)句子所組成的問答短句pair來進(jìn)行分析的，以這樣一個(gè)短句pair作為輸入，最后輸出的是這個(gè)問答短句pair的一個(gè)相關(guān)性向量。所以下面的文字中提到的問題句子指的就是問題的第i個(gè)句子，回答句子就是回答中的第j個(gè)句子，都只是一個(gè)短句而已。
? ? ? ?問題句子和答案句子匹配向量的計(jì)算思路很簡(jiǎn)單，實(shí)際上就是把問題句子和答案句子的最終表示拼接在一起，就表示它倆的匹配向量。計(jì)算句子表示向量的方法也很簡(jiǎn)單，就是把句子作為BiLSTM的輸入，然后對(duì)各個(gè)時(shí)刻的輸出加權(quán)求和，權(quán)重是通過Attention機(jī)制計(jì)算出來的，關(guān)鍵點(diǎn)也就在這個(gè)Attention的計(jì)算上，使用的是問題句子表示和答案句子表示彼此互相做Attention的方法，也就是所謂的雙向匹配機(jī)制。
? ? ? ?$D_{[i,j]}$中的第[a,b]個(gè)元素代表問題句子的第a個(gè)單詞與回答句子中的第b個(gè)單詞的語義相關(guān)性評(píng)分。作者采用了兩個(gè)Attention，第一種是Answer-to-Question Attention，也就是使用答案句子對(duì)問題句子進(jìn)行Attention。把$D_{[i,j]}$的每一行經(jīng)過神經(jīng)網(wǎng)絡(luò)處理成權(quán)重（上角標(biāo)r代表row），$D_{[i,j]}$的第k行代表問題句子的第k個(gè)單詞與答案句子的每個(gè)單詞的相關(guān)性，是詞級(jí)別的Attention，實(shí)際上相當(dāng)于用$H_{A_j}$與$H_{Q_i}$的每個(gè)時(shí)刻的輸出進(jìn)行Attention，然后計(jì)算每個(gè)時(shí)刻的權(quán)重，得到$H_{Q_i}$的加權(quán)后的表示$V_{[i,j]}^r$。
? ? ? ?其中$H_{Q_i}$是問題Q的第i個(gè)句子經(jīng)過BiLSTM后的表示，$N_i$是時(shí)刻數(shù)，即問題句子的單詞數(shù)；$H_{A_j}$是回答第j個(gè)句子經(jīng)過BiLSTM后的表示，$M_j$是時(shí)刻數(shù)，即回答第j個(gè)句子的單詞數(shù)。其中$h_{j,m}\in R^{d^{\prime }}$，即每個(gè)單詞（時(shí)刻）的表示都是$d^{\prime }$維的。具體計(jì)算公式如下：
$$\begin{gathered} \begin{array}{rl}{H}_{Q_i}& =\left[h_{i,1},h_{i,2},\dots ,h_{i,n},\dots ,h_{i,N_i}\right]\\ H_{A_j}& =\left[h_{j,1},h_{j,2},\dots ,h_{j,m},\dots ,h_{j,M_j}\right]\end{array} \\ {D}_{[i,j]}={\left(H_{Q_i}\right)}^{?}?\left(H_{A_j}\right) \\ \begin{array}{c}{U}_{[i,j]}^r=\tanh \left(W_r?D_{[i,j]}^{?}\right)\\ {\alpha }_{[i,j]}^r=\mathrm{softmax}\left(w_r^{?}?U_{[i,j]}^r\right)\end{array} \\ {V}_{[i,j]}^r=\left(H_{Q_i}\right)?{\alpha }_{[i,j]}^r \end{gathered}$$
其中$H_{Q_i}\in R^{d^{\prime }\times N_i},H_{A_j}\in R^{d^{\prime }\times M_j}$，所以$D_{[i,j]}\in R^{N_i\times M_j},W_r\in R^{d^{\prime }\times M_j},w_r\in R^{d^{\prime }}$，所以$U_{[i,j]}^r\in R^{d^{\prime }\times N_i},{\alpha }_{[i,j]}^r\in {\mathbb{R}}^{N_i}，V_{[i,j]}^r\in R^{d^{\prime }}$。
? ? ? ?而第二種顯然就是Question-to-Answer Attention，也就是使用問題句子對(duì)回答句子進(jìn)行Attention。使用問題句子的表示$H_{Q_i}$對(duì)答案句子$H_{A_j}$的每個(gè)時(shí)刻進(jìn)行Attention，把$D_{[i,j]}$的每一列經(jīng)過神經(jīng)網(wǎng)絡(luò)處理成權(quán)重（上角標(biāo)c代表column），同理我們最后可以得到答案句子的新表示向量$V_{[i,j]}^c\in R^{d^{\prime }}$，計(jì)算公式如下：
$$\begin{gathered} \begin{array}{c}{U}_{[i,j]}^c=\tanh \left(W_c?D_{[i,j]}\right)\\ {\alpha }_{[i,j]}^c=\mathrm{softmax}\left(w_c^{?}?U_{[i,j]}^c\right)\end{array} \\ {V}_{[i,j]}^c=\left(H_{A_j}\right)?{\alpha }_{[i,j]}^c \end{gathered}$$
? ? ? ?最后，這個(gè)Q-A短句匹配pair的表示向量$V_{[i,j]}$由$V_{[i,j]}^r$和$V_{[i,j]}^c$拼接表示起來，如下公式所示，$V_{[i,j]}\in R^{2d^{\prime }}$其中$\oplus$代表連接操作符：
$$V_{[i,j]}=V_{[i,j]}^r\oplus V_{[i,j]}^c$$

? ? ? ?使用上面的雙向匹配網(wǎng)絡(luò)，我們把$N\times M$個(gè)短句匹配單元中的每一個(gè)單元作為輸入，都可以輸出一個(gè)匹配向量，所有現(xiàn)在我們就得到了$N\times M$個(gè)$2d^{\prime }$維的向量，我們把它們拼成一個(gè)向量，然后做一個(gè)簡(jiǎn)單的句子級(jí)別的self-Attention，得到最終的的表示，最終再經(jīng)過一個(gè)輸出層即可，$p$就是最終分類的輸出結(jié)果（四分類），如下所示：
$$\begin{gathered} \begin{array}{c}V=\left[V_{[1,1]},V_{[1,2]},\dots ,V_{[i,j]},\dots ,V_{[N,M]}\right]\\ U=\tanh \left(W_h?V\right)\\ \alpha =\mathrm{softmax}\left(w_h^{?}?U\right)\end{array} \\ R=V?\alpha \\ p=softmax(W_l?R+B_l) \end{gathered}$$

（4）關(guān)于作者分析的標(biāo)注數(shù)據(jù)集：

數(shù)據(jù)來源：淘寶的“問大家”，主要包括美妝、鞋和電子產(chǎn)品這三個(gè)領(lǐng)域，每個(gè)領(lǐng)域收集了10000條問答對(duì)。
標(biāo)注說明：對(duì)于情感分類的標(biāo)注結(jié)果有四類，分別是positive, negative, neutral,conflict。其中conflict代表這個(gè)問答對(duì)中既包含對(duì)整體評(píng)價(jià)對(duì)象的積極情感，又包含消極情感。比如：“Q：這個(gè)手機(jī)好用嗎？ A：手機(jī)使用起來手感很好，非常流暢。但是電池不太好，一會(huì)兒就沒電了！”。這個(gè)Q-A就會(huì)被標(biāo)注為“conflict”。
而neutral并不一定是中立的，按照作者描述的規(guī)則，以下這些情況都會(huì)被標(biāo)注為“neutral”：

答非所問。比如“Q：屏幕清楚嗎？ A：電池壽命很長(zhǎng)！”

不確定的回答，“我不知道”這種回答。比如“Q：這款手機(jī)怎么樣？ A：不知道，買來送人的”

不包含感情的客觀事實(shí)。比如“Q：手機(jī)什么顏色？ A：藍(lán)色”

對(duì)比兩個(gè)或多個(gè)產(chǎn)品的問答。比如“Q：這款手機(jī)和iPhone6相比怎么樣？ A：那決定于你，它們是不可比較的”

總結(jié)

以上是生活随笔為你收集整理的Sentiment Classification towards Question-Answering with Hierarchical Matching Network 论文阅读笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。