論文題目：《A multi-task attention tree neural net for stance classification and rumor veracity detection》
翻譯：一種用于立場分類和謠言準確性檢測的多任務注意力樹神經網絡

檢測方法：用公眾的立場判定帖子的真假。
創新：提出了一個謠言對話術

初始化解釋

1 謠言對話樹

謠言對話樹中包含的數據分為三部分
第一部分是用戶信息
第二部分是帖子的文本信息
第三部分是謠言對話樹節點之間的結構信息。結構信息可以進一步建模為全局結構特征和局部結構特征。局部結構特征旨在對節點與其鄰域或分支之間的結構信息進行建模，而全局結構特征則用于表示整個謠言對話樹中分支的結構關系

2 立場分類

“支持”、“否認”、“評論”和“質疑”

3 謠言真實性檢測

真實、虛假、未驗證

樹結構的探索

1 為什么要用樹結構

樹的結構模型更適合于根級識別。

2 樹結構的探索：

舊
①Spectal-GCN很難擴展到具有不同結構的會話樹，且專注于全局結構信息和圖分類任務，如謠言監測和謠言準確性檢測，但是很難實現到結點分類任務，比如立場分類。
②GTA關注的是每個分支的局部特征，而不是多個會話分支之間的全局結構特征
很少有GNN是專門為謠言對話設計的，提取他們的結構特征，并在單個機器學習框架聯合處理兩個任務（立場判定和謠言準確率計算）
新
最近提出了基于調整會話樹的神經網絡,LSTM樹和CRF樹，但是這些神經網絡在會話分支中近似地執行線性合并過程，而不是對多個會話分支之間的結構特征進行建模。

3 創新：樹和網絡

樹（貢獻點1）

作者提出的樹：從不規則的對話樹中構建完整的K-ary規則的謠言對話樹。（RC-Trees）

網絡（貢獻點2）

基于RC樹的多任務注意樹神經網絡。（MATNN）

立場判定思路

使用自注意力機制來提取其領域中每個節點的局部特征，并且對其進行立場分類。

謠言準確性計算思路

然后根據立場特征，設計樹卷積和樹池化運算，提取全局結構特征，檢測謠言的準確性。

自注意力機制及樹自注意的發明

相似系數、自注意系數、自注意特征。

1 相似系數

指定節點領域中特征的相似性，例如余弦相似性$(x,y)=\frac{x?y}{\Vert x\Vert ?\Vert y\Vert }$

2 自注意系數

$self\_attention(x,y)=softmax(similarity(x,y))$

3 自注意特征

$h_x(feature)=active\_function({\sum }_{y\in neighbour(x)}self\_attention(x,y)?feature)$

4 樹自注意

自注意特征使用在具有規則線性結構或者網絡結構的數據上，但是謠言對話結構是不規則的。
所以我們設計了，樹自注意力，可以用于不規則的謠言對話樹。

RC-Trees謠言對話樹

用戶特征、帖子的文本信息和謠言對話樹的結構信息

紫色是局部結構信息，藍色是全局結構信息，紅色是用戶特征和文本信息。

構建

第一步，編號

層次遍歷，對會話樹的結點進行編號，不改變節點之間的結構關系

第二步，記錄

記錄所有會話樹中的最大深度H和節點的度K。

第三步，構建規則

根據H和K，設計規則，所有的對話都可以轉換為RC樹。
①如果節點i的子節點小于K，復制節點i到節點i的子節點，直到子節點的數量達到K
②將①擴展到每個節點，直到樹中每個分支的深度達到H。因此事件中的所有會話樹都可以轉換為H深K元的RC樹。

構建出現的新問題以及解決辦法

節點的復制雖然不會加劇立場標簽的不平衡，但是會改變原始立場標簽的數量和比例。

解決辦法
記錄RC-Trees的節點和原始會話樹節點之間對應關系序列，用于將RC-Trees的標簽轉換為原始會話樹，以檢測原始會話的位置。

MATNN

網絡組成

MATNN包含兩個子神經網絡：
一個用于立場分類的樹自注意子網絡
一個用于謠言準確性檢測的樹卷積子網絡；

樹自注意立場分類

RC-trees包含節點屬性F和其鄰接矩陣A。
$f=\left\{f_1,f_2,?,f_N\right\}$
$f_i$由節點i的用戶特征和文本特征組成。
N是RC-Trees中的節點數$N=(K^H?1)/2$

構建的H深K元RC-Trees的鄰接矩陣是相同的，但是原始會話樹的相應鄰接矩陣是不同的。

相似系數
$$\begin{gathered} Similarit{y}_{ij}=Neura{l}_V(W{f}_i,W{f}_j) \\ =Neura{l}_V(concat(W{f}_i,W{f}_j)) \end{gathered}$$
W、V是可學習的參數

注意力系數
$$\begin{gathered} {\alpha }_{ij}=softmax(Similarit{y}_{ij}) \\ =\frac{exp(Similarit{y}_{ij})}{{\sum }_{k\in Tree\_Neighbour\_i}exp(Similarit{y}_{ij})} \end{gathered}$$
$Tree\_Neighbour\_i$是節點i的領域

節點i的注意力特征$f_i$
$h_i=sigmoid({\sum }_{j\in Tree\_Neighbour\_i}{\alpha }_{ij}{W}^{\prime }{f}_j)$
$W^{\prime }$是特征提取中的學習權重。

因為考慮到節點復制機制的影響，引入多頭注意力機制來平衡節點效果
$h_i=sigmoid(\frac{1}{K}{\sum }_{k=1}^K{\sum }_{j\in Tree\_Neighbour\_i}{\alpha }_{ij}^k{W}^{\prime k}{f}_j)$
K是多頭注意力機制中的頭的數量，$W^{\prime k}$是第k個頭的權重

用于謠言準確性檢測的樹卷積神經網絡

包括樹卷積和樹池化

樹卷積

由樹卷積核定義，并且使用K+1個可訓練的參數化向量遍歷RC樹中的每個K-ray
遍歷過程類似于遍歷圖像的傳統卷積核

給定根節點i的H深的K元立場特征，隱藏層表示$X_{p,q}^{l,t}$，通道t和層$l$
$X_{p,q}^{l,t}=ReLU({\sum }_{r=1}^{f_{t?1}}{\sum }_{a=1}^{N_{t?1}}{W}^{l,r}?X_{p,q}^{l?1,a}+b_{p,q}^{l,t})$

p 是深度
q 是第q顆樹
結點$(p,q)$ 指的是p深的第q顆樹
$f_{t?1}$ 指的是$l?1$層的特征數量
ReLU 激活函數
$X_{p,q}^{l,t}$ 指定是$l$層的節點$(p,q)$的第t個特征
$W^{l,r}$是在$l$層，從第r個通道到第t個通道的可學習的濾波器
$b_{p,q}^{l,t}$是偏置

樹池化

目的：實現多尺度變換，有效的根和節點被保留下來，重新組合成一個更小的RC-Tree

樹池化操作：
$X_{p,q}^l={\max }_{n\in N_{sub}}\left\{X_{p,q}^{l?1}\right\}$
p是深度
n是第n個節點
$N_{sub}$是RC-Tree的子樹

論文評價： . .

總結

以上是生活随笔為你收集整理的论文阅读【A multi-task attention tree neural net for stance classification and rumor veracity detection】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。