Reasoning with Sarcasm by Reading In-between

click here：文章下載

方法綜述：

本文提出了新的模型SIARN(Singal-dimensional Intra-Attention Recurrent Networks)和MIARN(Multi-dimensional Intra-Attention Recurrent Networks)。

先給出一個(gè)定義，關(guān)系得分$s_{i,j}$表示單詞$w_i$、$w_j$間的信息關(guān)聯(lián)程度。二者的區(qū)別僅在于，SIARN中只考慮單詞對(duì)間的一種內(nèi)在關(guān)系，$s_{i,j}$是個(gè)標(biāo)量；而MIARN考慮單詞對(duì)間的多種(k種)內(nèi)在關(guān)系，$s_{i,j}$是個(gè)k維向量，再將其融合為一個(gè)標(biāo)量。

模型中包含三個(gè)子模型：Singal/Multi-dimensional Intra-Attention、LSTM、Prediction Layer：
Singal/Multi-dimensional Intra-Attention：通過(guò)單詞對(duì)間的信息，得到句子的Intra-Attentive Representation
LSTM：通過(guò)句子的序列信息，得到句子的Compositional Representation
Prediction Layer： 融合兩種信息表示，進(jìn)行二分類預(yù)測(cè)

各模型算法：

Singal/Multi-dimensional Intra-Attention

Sigal-dimensional：

$s_{i,j}=W_a([w_i;w_j])+b_a?s_{i,j}\in R$ 標(biāo)量

$W_a\in R^{2n\times 1},b_a\in R;$

Multi-dimensional：

$\widehat{s_{i,j}}=W_q([w_i;w_j])+b_q?\widehat{s_{i,j}}\in R^k$ k維向量
$W_q\in R^{2n\times k},b_q\in R^k;$

$s_{i,j}=W_p(ReLU(\widehat{s_{i,j}}))+b_p$
$W_p\in R^{k\times 1},b_p\in R;$

$??????????$

$s_{i,j}=W_p(ReLU(W_q([w_i;w_j])))+b_p$
$W_q\in R^{2n\times k},b_q\in R^k,W_p\in R^{k\times 1},b_p\in R;$

從而，對(duì)于長(zhǎng)度為$l$的句子，可以得到對(duì)稱矩陣$s\in R^{l\times l}$。
對(duì)矩陣s進(jìn)行row-wise max-pooling，即按行取最大值，得到attention vector：$a\in R^l$

有了權(quán)重向量a，便可以對(duì)句子單詞進(jìn)行加權(quán)求和，得到Intra-Attentive Representation：$v_a\in R^n$:

LSTM

LSTM的每個(gè)時(shí)間步輸出$h_i\in R^d$，可以表示為:

$h_i=LSTM(w,i),?i\in [1,...,l]$

本文使用LSTM的最后時(shí)間步輸出，作為Compositional Representation：$v_c\in R^d$

$v_c=h_l$

$d$是LSTM隱藏層單元數(shù)，$l$是句子的最大長(zhǎng)度。

Prediction Layer

融合上述得到的Intra-Attentive Representation $v_a\in R^n$、Compositional Representation $v_c\in R^d$，得到融合表示向量 $v\in R^d$，再進(jìn)行二分類輸出$\hat{y}\in R^2$:

$v=ReLU(W_z([v_a;v_c])+b_z)$
$\hat{y}=Softmax(W_{f}v+b_f)$

其中，$W_z\in R^{(d+n)\times d},b_z\in R^d,W_f\in R^{d\times 2},W_f\in R^{d\times 2},b_f\in R^2$

訓(xùn)練目標(biāo)：

待學(xué)習(xí)參數(shù)：$\theta =\{W_p,b_p,W_q,b_q,W_z,b_z,W_f,b_f\}$
超參數(shù)：$k,n,d,\lambda$

總結(jié)

以上是生活随笔為你收集整理的Reasoning with Sarcasm by Reading In-between的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。