融合標(biāo)簽層級結(jié)構(gòu)的文本分類

1、背景

1、作者（第一作者和通訊作者）
???劉翰錯，黃賢英
2、單位
???重慶理工大學(xué)
3、年份
???2021
4、來源
???山西大學(xué)學(xué)報（自然科學(xué)版）

2、四個問題

1、要解決什么問題？
???解決標(biāo)簽之間的語義、標(biāo)簽之間的相關(guān)性，文本特征對標(biāo)簽特征的影響。

2、用了什么方法解決？
???提出了融合標(biāo)簽結(jié)構(gòu)的層級標(biāo)簽文本分類模型（Label Hierarchical and Semantic Structure Learning, LHSSL）

3、效果如何？

4、還存在什么問題？

論文筆記

0、引言

???在本小節(jié)中，作者總結(jié)了目前現(xiàn)有的層級文本分類主要有兩種：

???關(guān)注局部：關(guān)注局部 ，傾向于構(gòu)造多個層次分類模型，然后以自頂向下的方式遍歷層次結(jié)構(gòu)。每個分類器預(yù)測對應(yīng)的類別或類別層次。

???關(guān)注全局：關(guān)注全局，將所有類別集合在一起，用單個分類器進(jìn)行預(yù)測。

???作者指出這些方法忽略了標(biāo)簽的語義結(jié)構(gòu)特征、層級結(jié)構(gòu)特征以及它們與輸入文本特征之間的關(guān)系。還指出當(dāng)標(biāo)簽數(shù)量較大、標(biāo)簽相似度較高時，人工分類很困難。接著作者針對以上問題提出了層級標(biāo)簽文本分類模型（LHSSL）：
???（1）通過傳統(tǒng)編碼器提取輸入文本特征，連接激活函數(shù)得到預(yù)測概率分布
???（2）引入使用外部語料預(yù)訓(xùn)練好的語言模型得到標(biāo)簽嵌入向量，計算標(biāo)簽 嵌入向量間的相似度得到標(biāo)簽的語義相關(guān)結(jié)構(gòu)圖
???（3）根據(jù)數(shù)據(jù)集給出的多層級類別標(biāo)簽，構(gòu)建標(biāo)簽的層級結(jié)構(gòu)矩陣（同時由于標(biāo)簽數(shù)量較少，使用單層圖卷積就可以提取整個圖結(jié)構(gòu)的特征。因此使用共享參數(shù)的單層圖卷積學(xué)習(xí)語義結(jié)構(gòu)圖與層級結(jié)構(gòu)圖的共享特征得到了兩種標(biāo)簽嵌人）
???（4）利用自注意力機(jī)制學(xué)習(xí)標(biāo)簽之間的關(guān)系得到新的標(biāo)簽嵌入向量
???（5）計算文本嵌人與標(biāo)簽嵌人的相似度，并且動態(tài)融合輸人文本的特征
???（6）經(jīng)過激活后構(gòu)造標(biāo)簽?zāi)M分布，將兩個分布加和平均并激活后得到最終的分類結(jié)果。

1、相關(guān)工作

1.1、圖卷積神經(jīng)網(wǎng)絡(luò)

???相較于卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)，圖卷積神經(jīng)網(wǎng)絡(luò)更適用于處理非歐幾里得結(jié)構(gòu)性的圖數(shù)據(jù)。圖卷積的目的是通過聚合節(jié)點(diǎn)自身以及鄰居節(jié)點(diǎn)的信息提取拓?fù)鋱D的空間特征。

1.2、標(biāo)簽嵌入

???標(biāo)簽嵌入學(xué)習(xí)是通過學(xué)習(xí)標(biāo)簽的向量表示來增強(qiáng)模型的分類效果。本文也構(gòu)建了模型學(xué)習(xí)標(biāo)簽之間的關(guān)系從而生成含有豐富信息的嵌入向量。

1.3、標(biāo)簽平滑

???標(biāo)簽平滑用于解決由使用one-hot向量表示標(biāo)簽帶來的模型過擬合的問題，以及全概率和零概率導(dǎo)致樣本所屬類別和其他類別預(yù)測概率相差盡可能大致使模型過于自信的問題。

1.4、標(biāo)簽增強(qiáng)

???標(biāo)簽分布反映了數(shù)據(jù)集中每個標(biāo)簽與樣本匹配的程度。大多數(shù)數(shù)據(jù)集的標(biāo)簽都是單一標(biāo)簽的集合，要獲取數(shù)據(jù)真實(shí)的標(biāo)簽分布，需要對每條樣本進(jìn)行大量的標(biāo)注，當(dāng)標(biāo)簽數(shù)目較多時，會花費(fèi)大量的時間與精力，標(biāo)注的準(zhǔn)確性也得不到保障。

2、模型設(shè)計

???LHSSL 模型主要分為三個部分：預(yù)測概率分布計算、標(biāo)簽?zāi)M分布構(gòu)造以及損失計算。

2.1、預(yù)測概率分布計算

???使用CNN、RNN、LSTM、BERT等用于提取文本特征。連接softmax激活函數(shù)進(jìn)行非線性轉(zhuǎn)換得到預(yù)測的標(biāo)簽的概率分布。

2.2、標(biāo)簽?zāi)M分布構(gòu)造

2.2.1、標(biāo)簽信息提取模塊

???標(biāo)簽信息提取模塊分為兩個子模塊：

???標(biāo)簽語義結(jié)構(gòu)特征提取：標(biāo)簽語義結(jié)構(gòu)特征提取模塊首先初始化標(biāo)簽嵌入向量，將包含層級結(jié)構(gòu)的標(biāo)簽集Ｌ中的每個標(biāo)簽按照層級結(jié)構(gòu)拆分為多個單詞。通過引入使用外部語料庫預(yù)訓(xùn)練好的語言模型，如ｗｏｒｄ２ｖｅｃ、ｇｌｏｖｅ等，得到每個單詞的嵌入向量。將單詞嵌人向量累加后除以單詞的個數(shù)得到每個層級標(biāo)簽的嵌入表示。

???標(biāo)簽層級結(jié)構(gòu)特征提取：標(biāo)簽層級結(jié)構(gòu)特征提取模塊通過數(shù)據(jù)集中標(biāo)簽本身的層級結(jié)構(gòu)構(gòu)造結(jié)構(gòu)關(guān)系圖。

2.2.2、標(biāo)簽混淆模塊

2.3、損失計算

3、實(shí)驗(yàn)設(shè)置

3.1、數(shù)據(jù)集

???本文采用四個數(shù)據(jù)集：20NG、8NG_H、8NG_E和WOS11967。

3.2、實(shí)驗(yàn)參數(shù)設(shè)置

3.3、實(shí)驗(yàn)參數(shù)設(shè)置

???
從表6-8中數(shù)據(jù)可以得到結(jié)論：無論數(shù)據(jù)集的標(biāo)簽中是否含有噪聲，利用標(biāo)簽的語義關(guān)系以及層級結(jié)構(gòu)關(guān)系特征，從一定程度上都能提高模型的分類性能。

總結(jié)

以上是生活随笔為你收集整理的【层级多标签文本分类】融合标签层级结构的文本分类的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。