點(diǎn)擊上方藍(lán)字關(guān)注我們

基于分層注意力網(wǎng)絡(luò)的方面情感分析

宋婷¹,?陳戰(zhàn)偉²,?楊海峰¹

1?太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030024

2?中國(guó)移動(dòng)通信集團(tuán)山西有限公司，山西 太原 030001

?

摘要：基于深度學(xué)習(xí)的方面情感分析是自然語(yǔ)言處理的熱點(diǎn)之一。針對(duì)方面情感，提出基于方面情感分析的深度分層注意力網(wǎng)絡(luò)模型。該模型通過(guò)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)保留文本局部特征和不同句子時(shí)序關(guān)系，利用改進(jìn)的分層長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）獲取句子內(nèi)部和句子間的情感特征。其中，針對(duì)LSTM添加了特定方面信息，并設(shè)計(jì)了一個(gè)動(dòng)態(tài)控制鏈，改進(jìn)了傳統(tǒng)的LSTM。在SemEval 2014的兩個(gè)數(shù)據(jù)集和Twitter數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)得出，相比傳統(tǒng)模型，提出的模型的情感分類(lèi)準(zhǔn)確率提高了3%左右。

關(guān)鍵詞：?深度學(xué)習(xí)?;?方面情感?;?區(qū)域卷積神經(jīng)網(wǎng)絡(luò)?;?分層長(zhǎng)短期記憶網(wǎng)絡(luò)?;?注意力機(jī)制?;?動(dòng)態(tài)控制鏈

論文引用格式：

宋婷,陳戰(zhàn)偉,楊海峰. 基于分層注意力網(wǎng)絡(luò)的方面情感分析[J]. 大數(shù)據(jù), 2020, 6(5): 82-91.

SONG T, CHEN Z W, YANG H F. Aspect sentiment analysis based on a hierarchical attention network[J]. Big Data Research, 2020, 6(5): 82-91.

1 引言

社交網(wǎng)絡(luò)的使用日益頻繁，如何從網(wǎng)絡(luò)中挖掘并抽取用戶(hù)的情感信息是自然語(yǔ)言處理的研究熱點(diǎn)之一。基于方面的情感分析可針對(duì)不同方面挖掘用戶(hù)深層次的情感，首先區(qū)分文本中同一實(shí)體的不同屬性，這是方面情感分析的第一個(gè)子任務(wù)——方面詞的提取，提取的內(nèi)容可以是一個(gè)單詞，也可以是一個(gè)短語(yǔ)；接著針對(duì)各個(gè)方面詞分析情感極性。例如句子“Good food but dreadful service at that restaurant”，通過(guò)分析可知，該語(yǔ)句評(píng)論的實(shí)體是餐廳，分別對(duì)兩個(gè)方面（即food和service）進(jìn)行了相應(yīng)的情感表達(dá)，二者的情感極性分別是積極和消極。在初期研究中，文本的分類(lèi)問(wèn)題使用的是傳統(tǒng)的機(jī)器學(xué)習(xí)方法，首先在訓(xùn)練集上分析、提取數(shù)據(jù)信息，構(gòu)建分類(lèi)模型，從而預(yù)測(cè)未被標(biāo)注的數(shù)據(jù)。傳統(tǒng)機(jī)器學(xué)習(xí)構(gòu)建手工特征的方法是人工規(guī)則和特征工程，這是一個(gè)較為煩瑣的過(guò)程。近年來(lái)，深度學(xué)習(xí)被廣泛應(yīng)用在自然語(yǔ)言處理領(lǐng)域，并取得了較好的成績(jī)，深度學(xué)習(xí)結(jié)合注意力機(jī)制在基于方面的情感分析中取得了比傳統(tǒng)網(wǎng)絡(luò)模型更好的效果。深度學(xué)習(xí)還被應(yīng)用在機(jī)器翻譯、句子對(duì)建模等方面。深度學(xué)習(xí)最大的特點(diǎn)是能自動(dòng)學(xué)習(xí)批量數(shù)據(jù)，繼而挖掘數(shù)據(jù)中的潛在特征，利用注意力機(jī)制加深對(duì)目標(biāo)內(nèi)容的關(guān)注，在訓(xùn)練過(guò)程中依次調(diào)整參數(shù)。

目前結(jié)合深度學(xué)習(xí)的方面情感分析模型還存在許多問(wèn)題，如基于卷積神經(jīng)網(wǎng)絡(luò)的模型使用濾波器僅獲取文本句子內(nèi)部對(duì)象的依賴(lài)關(guān)系；單層的基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型結(jié)合注意力機(jī)制可獲取文本的長(zhǎng)距離關(guān)系，卻忽略了句子間的依賴(lài)關(guān)系。

基于以上問(wèn)題，本文提出基于方面情感分析的深度分層注意力網(wǎng)絡(luò)模型（hierarchical attention network model for aspect-based sentiment analysis， HANMAS），該模型結(jié)合區(qū)域卷積神經(jīng)網(wǎng)絡(luò)和改進(jìn)的分層長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM），圍繞方面目標(biāo)，既通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）單詞層和單詞層LSTM保留了句子的局部特征信息和依賴(lài)關(guān)系，又通過(guò)句子層LSTM獲得了句子間的情感依賴(lài)關(guān)系。本文提出的模型在傳統(tǒng)LSTM中嵌入特定方面目標(biāo)，設(shè)計(jì)一條動(dòng)態(tài)控制鏈，通過(guò)控制單元獲取對(duì)應(yīng)的遠(yuǎn)距離情感信息，從而獲得深層次的方面情感信息。筆者在SemEval 2014的兩個(gè)數(shù)據(jù)集和Twitter數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，相比于基于方面情感的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型和基于注意力機(jī)制的網(wǎng)絡(luò)模型，本文模型的情感分類(lèi)準(zhǔn)確率相對(duì)較高。

2 相關(guān)工作

基于方面的情感分類(lèi)屬于細(xì)粒度分類(lèi)任務(wù)，傳統(tǒng)的情感分類(lèi)方法有支持向量機(jī)、樸素貝葉斯、最大熵等，深度神經(jīng)網(wǎng)絡(luò)是當(dāng)下比較常用的方法。

卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）是常用的針對(duì)情感分析任務(wù)的深度網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積操作提取文本的局部特征，無(wú)時(shí)序性；循環(huán)神經(jīng)網(wǎng)絡(luò)根據(jù)上一時(shí)序狀態(tài)和當(dāng)前輸入確定當(dāng)前網(wǎng)絡(luò)狀態(tài)，由此獲得網(wǎng)絡(luò)時(shí)序性。參考文獻(xiàn)在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，依靠門(mén)控制部件輸出不同特定方面對(duì)應(yīng)的信息，使模型性能得到了有效提升。參考文獻(xiàn)采用LSTM獲取句子的情感信息，LSTM是RNN的變體，其網(wǎng)絡(luò)嵌入了上一時(shí)刻的狀態(tài)值，使模型較好地解決了長(zhǎng)距離依賴(lài)問(wèn)題。參考文獻(xiàn)在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上結(jié)合了注意力機(jī)制，分別獲取詞向量、詞性、位置信息的注意力計(jì)算，是一個(gè)多注意力機(jī)制的卷積網(wǎng)絡(luò)，此方法在未獲取外部知識(shí)的狀態(tài)下得到了方面情感極性。Wa ng Y Q等人提出基于方面嵌入的長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM with aspect embedding， AE-LSTM）和基于注意力機(jī)制的方面級(jí)長(zhǎng)短期記憶網(wǎng)絡(luò)（attention-based LSTM with aspect embedding），這兩種網(wǎng)絡(luò)都是基于傳統(tǒng)長(zhǎng)短期記憶網(wǎng)絡(luò)建模的，它們基于方面目標(biāo)信息獲取上下文特征，結(jié)合句子隱藏狀態(tài)計(jì)算注意力向量，由此得到情感分類(lèi)結(jié)果，后者比前者更加突出了方面目標(biāo)信息的嵌入。參考文獻(xiàn)基于特定方面目標(biāo)信息，結(jié)合長(zhǎng)短期記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，分別獲取文本長(zhǎng)距離依賴(lài)，且通過(guò)注意力機(jī)制獲得句子表示，取得了較好的分類(lèi)結(jié)果。參考文獻(xiàn)提出了嵌入常識(shí)知識(shí)的長(zhǎng)短期記憶網(wǎng)絡(luò)（attentive LSTM with commonsense knowledge，Senti-LSTM）模型的特定方面情感分析，其中利用情感常識(shí)分析文本內(nèi)容，獲得了較優(yōu)的模型性能。Ta n g D U等人提出了目標(biāo)依賴(lài)情緒分類(lèi)長(zhǎng)短期記憶網(wǎng)絡(luò)（TD-LSTM）模型和目標(biāo)連接長(zhǎng)短期記憶網(wǎng)絡(luò)（targetconnection LSTM，TC-LSTM）模型的方面情感分析，兩種模型都結(jié)合特定方面目標(biāo)嵌入了上下文語(yǔ)義。參考文獻(xiàn)結(jié)合注意力機(jī)制提出自注意力網(wǎng)絡(luò)（transformer），設(shè)計(jì)了多頭注意力機(jī)制來(lái)獲取深層次注意力信息。Ruder S等人提出了分層的雙向LSTM模型來(lái)獲取句子級(jí)別的相互關(guān)系。

以上工作大多圍繞深度神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制進(jìn)行研究。

3 基于方面情感分析的深度分層注意力網(wǎng)絡(luò)模型

本節(jié)主要介紹基于方面情感分析的深度分層注意力網(wǎng)絡(luò)模型的相關(guān)細(xì)節(jié)。該模型通過(guò)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)和改進(jìn)的分層長(zhǎng)短期記憶網(wǎng)絡(luò)獲取情感分類(lèi)。圖1為基于方面情感分析的深度分層注意力網(wǎng)絡(luò)模型，由以下4個(gè)部分組成。

圖1???基于方面情感分析的深度分層注意力網(wǎng)絡(luò)模型

● 區(qū)域卷積層。根據(jù)不同方面目標(biāo)將句子劃分為不同區(qū)域，對(duì)于每個(gè)獨(dú)立特定方面，卷積神經(jīng)網(wǎng)絡(luò)將抽取局部情感信息。

● 改進(jìn)的單詞層LSTM。在傳統(tǒng)LSTM中嵌入了句子特定方面信息，設(shè)計(jì)一條動(dòng)態(tài)控制鏈，通過(guò)控制單元獲取相應(yīng)方面目標(biāo)遠(yuǎn)距離情感信息，得到改進(jìn)的嵌入方面信息的長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM with aspects，A-LSTM）。

● 句子層LSTM。基于改進(jìn)的LSTM，區(qū)域卷積層的輸出和改進(jìn)的單詞層LSTM的輸出合并進(jìn)入句子層LSTM，獲取基于特定方面目標(biāo)的整個(gè)文本句子間的依賴(lài)關(guān)系。

● 情感輸出層。獲取分類(lèi)結(jié)果。

3.1 任務(wù)定義

給定句子，包含n個(gè)單詞，其中wⁱ為句子s的第i個(gè)元素；A為句子的特定方面表示，句子通常包含0個(gè)或若干個(gè)方面目標(biāo)（方面詞）；給定方面詞，包含m個(gè)單詞。通過(guò)向量化表示得到句子s的詞向量矩陣，方面目標(biāo)詞的詞向量矩陣，其中d₁、d₂是詞向量的維度。研究目標(biāo)是基于方面目標(biāo)獲取句子的情感極性，基于不同方面目標(biāo)將句子劃分為不同的獨(dú)立語(yǔ)句，依次判斷情感極性。

3.2 區(qū)域卷積層

區(qū)域卷積層將句子劃分為包含多個(gè)方面的目標(biāo)子句，通過(guò)注意力機(jī)制重點(diǎn)關(guān)注各個(gè)方面目標(biāo)及其上下文語(yǔ)義。本文根據(jù)句子中不同方面詞將句子分割成若干個(gè)獨(dú)立部分，由此分別獲取不同方面的情感極性。假設(shè)句子包含兩個(gè)方面詞A₁、A₂，根據(jù)方面詞A₁和A₂將句子分割成兩個(gè)獨(dú)立的目標(biāo)子句：，每個(gè)子句的長(zhǎng)度是z。若句子包含0個(gè)或1個(gè)方面目標(biāo)，則只得到一個(gè)目標(biāo)區(qū)域，即一個(gè)目標(biāo)子句。每個(gè)獨(dú)立的目標(biāo)子句進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)第i個(gè)卷積核進(jìn)行卷積操作，得到c_i，如式（1）所示：

其中，卷積核長(zhǎng)度為l，參數(shù)和b分別為卷積核的權(quán)重矩陣和偏置項(xiàng)。由此得到目標(biāo)子句的特征圖，如式（2）所示：

通過(guò)局部特征下采樣抽取每個(gè)特征圖最重要的特征，下采樣方法利用最大池化（max-over-time pooling）獲取局部特征，k個(gè)卷積核得到的特征如式（3）所示：

3.3 改進(jìn)的單詞層LSTM

通過(guò)分層的LSTM得到了單詞層（句子內(nèi)部）、句子層（句子之間）特征信息，本節(jié)介紹改進(jìn)的A-LSTM，以便獲取單詞層的特征信息，同時(shí)，在改進(jìn)的A-LSTM基礎(chǔ)上構(gòu)建單詞層LSTM。

3.3.1 A-LSTM

將方面目標(biāo)嵌入傳統(tǒng)的LSTM，在此基礎(chǔ)上設(shè)計(jì)動(dòng)態(tài)控制鏈，通過(guò)動(dòng)態(tài)控制單元獲取上下文記憶，利用注意力機(jī)制更有效地圍繞方面詞獲取情感信息。A-LSTM如圖2所示。

圖2???A-LSTM網(wǎng)絡(luò)

圖2中包含3條控制鏈：，第j個(gè)方面目標(biāo)詞向量；，針對(duì)方面目標(biāo)j，上一時(shí)刻網(wǎng)絡(luò)隱藏層記憶狀態(tài)；，針對(duì)方面目標(biāo)j，動(dòng)態(tài)控制鏈上一時(shí)刻的網(wǎng)絡(luò)狀態(tài)值。分別表示方面目標(biāo)j的門(mén)控單元、現(xiàn)時(shí)刻網(wǎng)絡(luò)隱藏層記憶狀態(tài)、動(dòng)態(tài)控制鏈現(xiàn)時(shí)刻網(wǎng)絡(luò)狀態(tài)值。動(dòng)態(tài)控制鏈上的動(dòng)態(tài)控制單元是門(mén)控循環(huán)單元（gated recurrent unit，GRU），其獲取上下文語(yǔ)義的長(zhǎng)距離依賴(lài)信息，針對(duì)方面目標(biāo)j，通過(guò)門(mén)控單元和動(dòng)態(tài)控制單元計(jì)算網(wǎng)絡(luò)的現(xiàn)時(shí)刻隱藏層記憶狀態(tài)，如式（4）～（7）所示：

其中，式（4）中的是新輸入內(nèi)容針對(duì)計(jì)算所得的網(wǎng)絡(luò)狀態(tài)，式（7）經(jīng)過(guò)式（4）所得的臨時(shí)狀態(tài)和動(dòng)態(tài)控制單元，最終得到現(xiàn)時(shí)刻網(wǎng)絡(luò)狀態(tài)。式（6）門(mén)控單元中第一部分計(jì)算得到圖2中的B模塊，式中第二部分計(jì)算得到圖2中的A模塊。?和σ是非線(xiàn)性的激活函數(shù)，式中X、Y、U、V是訓(xùn)練參數(shù)，⊙為乘運(yùn)算。

與傳統(tǒng)LSTM相比，A-LSTM嵌入了方面信息，并設(shè)計(jì)了動(dòng)態(tài)控制鏈，當(dāng)輸入內(nèi)容與相符時(shí)，門(mén)控單元基于方面目標(biāo)挖掘更深入的隱藏層記憶狀態(tài)，動(dòng)態(tài)控制單元提供基于方面目標(biāo)的上下文語(yǔ)義長(zhǎng)距離依賴(lài)信息。隱藏層記憶狀態(tài)利用遺忘過(guò)期信息過(guò)濾無(wú)用信息，將網(wǎng)絡(luò)的最終隱藏層記憶狀態(tài)值降到單元距離值內(nèi)。

3.3.2 單詞層LSTM

單詞層LSTM在A-LSTM基礎(chǔ)上獲取目標(biāo)子句中與方面信息高度相關(guān)的特征表示，得到句子內(nèi)部單詞間的特征關(guān)系。每一個(gè)LSTM單元的輸入包含上一時(shí)刻網(wǎng)絡(luò)隱藏層記憶狀態(tài)、當(dāng)前時(shí)刻的新輸入值，同時(shí)還嵌入了方面信息。

LSTM在每次輸入新值后得到的隱藏層記憶狀態(tài)為，其中d為輸出向量的維度，n為狀態(tài)數(shù)。單詞注意力層計(jì)算過(guò)程如式（8）～（10）所示：

其中，W_c、b_c分別為權(quán)重參數(shù)和偏置參數(shù)， h_c為與輸入c相對(duì)應(yīng)的隱藏層記憶狀態(tài)，計(jì)算得到注意力值a_c，從而得到整個(gè)網(wǎng)絡(luò)的注意力值u。

3.4 句子層LSTM

通過(guò)改進(jìn)的單詞層LSTM計(jì)算得到的僅是詞語(yǔ)間的特征信息，但針對(duì)文本的上下文句子（尤其一些語(yǔ)義表達(dá)不清的句子），某一詞語(yǔ)前后句子語(yǔ)義對(duì)其情感判斷尤為重要，因此本文通過(guò)句子層LSTM獲取文本句子間的依賴(lài)關(guān)系。

將區(qū)域卷積網(wǎng)絡(luò)的局部特征信息輸出和改進(jìn)的單詞層LSTM的句子內(nèi)部詞語(yǔ)間特征關(guān)系輸出合并，作為句子層LSTM的輸入。其中區(qū)域卷積網(wǎng)絡(luò)是一個(gè)序列化的矩陣，按句子在文本中的順序排序。句子層LSTM的輸入如式（11）所示：

其中，是區(qū)域卷積網(wǎng)絡(luò)的下采樣特征向量，u是單詞層LSTM的輸出值。

3.5 情感分類(lèi)層

將句子層LSTM的輸出值作為情感輸出層的全連接網(wǎng)絡(luò)的輸入，計(jì)算情感分類(lèi)結(jié)果，得到情感分類(lèi)輸出：

其中，W為全連接層權(quán)重參數(shù)，b為全連接層偏置項(xiàng)，s’為句子層LSTM的輸出。本文使用反向傳播算法訓(xùn)練網(wǎng)絡(luò)模型，通過(guò)最小化交叉熵優(yōu)化模型，計(jì)算損失函數(shù)loss：

其中，D為訓(xùn)練集大小，C為數(shù)據(jù)類(lèi)別數(shù)，y為文本的預(yù)測(cè)類(lèi)別（即情感分類(lèi)輸出），為實(shí)際的類(lèi)別，λ||θ||²為L(zhǎng)₂正則項(xiàng)。

4 實(shí)驗(yàn)及結(jié)果分析

4.1 數(shù)據(jù)集

本文提出基于方面情感分析的深度分層注意力網(wǎng)絡(luò)模型，通過(guò)對(duì)比SemEval 2014的Laptop、Restaurant數(shù)據(jù)集以及Li D等人發(fā)布的Twitter數(shù)據(jù)集，分析模型性能。數(shù)據(jù)集中分別含有4種極性的情感：積極、消極、中立、沖突，沖突類(lèi)別在數(shù)據(jù)集中所占比例較低，因此實(shí)驗(yàn)中僅保留積極、消極、中立類(lèi)別。數(shù)據(jù)集信息見(jiàn)表1。

4.2 評(píng)價(jià)指標(biāo)和參數(shù)設(shè)置

模型性能以分類(lèi)準(zhǔn)確率為評(píng)價(jià)標(biāo)準(zhǔn)，使用Glove詞向量方法初始化句子單詞向量及方面向量，維度為300。采用均勻分布U(?0.1,0.1)對(duì)未登錄詞進(jìn)行初始化，偏置初始化為0，訓(xùn)練采用Adam優(yōu)化器更新模型參數(shù)。區(qū)域卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)區(qū)域的長(zhǎng)度設(shè)置為30，窗口大小分別設(shè)置為整數(shù)2至5，每種大小的窗口的個(gè)數(shù)設(shè)為100，隨機(jī)失活率（dropout）設(shè)置為0.5。

4.3 對(duì)比模型

將本文模型分別與以下模型進(jìn)行對(duì)比，以驗(yàn)證本文模型的性能。

● 卷積神經(jīng)網(wǎng)絡(luò)（CNN）：基于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建模型，模型將獨(dú)立句子作為輸入，未嵌入方面目標(biāo)信息，獲取文本句子內(nèi)單詞間依賴(lài)關(guān)系。

● 長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）：基于傳統(tǒng)的長(zhǎng)短期記憶網(wǎng)絡(luò)構(gòu)建模型，模型將獨(dú)立句子作為輸入，未嵌入方面目標(biāo)信息，獲取文本句子內(nèi)單詞間依賴(lài)關(guān)系。

● 基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network based on attention mechanism，ATT-CNN）：基于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建模型，模型針對(duì)特定方面加入注意力機(jī)制獲取句子內(nèi)情感關(guān)注信息，將獨(dú)立句子作為輸入。

● 基于注意力機(jī)制的方面級(jí)長(zhǎng)短期記憶網(wǎng)絡(luò)（attention-based LSTM with aspect embedding，ATAE-LSTM）：基于傳統(tǒng)的長(zhǎng)短期記憶網(wǎng)絡(luò)構(gòu)建模型，模型針對(duì)特定方面加入注意力機(jī)制獲取句子內(nèi)情感關(guān)注信息。

● 帶有長(zhǎng)短期記憶網(wǎng)絡(luò)的詞嵌入（composing word embeddings with LSTM，LSTM-R)算法：基于傳統(tǒng)的長(zhǎng)短期記憶網(wǎng)絡(luò)構(gòu)建模型，模型將整體文本作為輸入，針對(duì)特定方面未關(guān)注其注意力機(jī)制。

● 交互式注意力網(wǎng)絡(luò)（interactive attention network，IAN）：用于多層次語(yǔ)義分類(lèi)，利用注意力機(jī)制針對(duì)特定方面獲取情感信息。

● 基于詞-方面關(guān)聯(lián)融合的長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM based on word-aspect association fusion，AF-LSTM）：利用一個(gè)連接層，通過(guò)注意力機(jī)制結(jié)合方面信息獲取情感分類(lèi)。

● 支持向量機(jī)（support vector machines，SVM）：將支持向量機(jī)作為分類(lèi)器來(lái)抽取特征。

4.4 實(shí)驗(yàn)結(jié)果

本文模型（HANMAS）同上述模型的對(duì)比結(jié)果見(jiàn)表2。

表2中數(shù)據(jù)是不同模型在3個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，數(shù)據(jù)集中包含積極、中立、消極3種類(lèi)別，分析可得三分類(lèi)實(shí)驗(yàn)的分類(lèi)準(zhǔn)確率普遍低于以往文獻(xiàn)中的僅包含積極、消極的二分類(lèi)結(jié)果。幾種對(duì)比模型中基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型（LSTM、ATAE-LSTM）優(yōu)于基于卷積神經(jīng)網(wǎng)絡(luò)的模型（CNN、ATT-CNN）；在LSTM上嵌入注意力機(jī)制的模型（ATT-CNN、ATAE-LSTM、IAN）的分類(lèi)效果好于單一的傳統(tǒng)模型；嵌入方面信息分別獲取情感分類(lèi)的模型（ATT-CNN、ATAE-LSTM、LSTM-R）的分類(lèi)準(zhǔn)確率有顯著提高；將整體文本作為輸入的模型（LSTM-R）獲取了句子間的依賴(lài)關(guān)系，分類(lèi)準(zhǔn)確率明顯優(yōu)于將獨(dú)立句子作為輸入的模型（LSTM）。

本文提出的模型性能優(yōu)于幾種對(duì)比模型。本文提出的模型針對(duì)特定方面通過(guò)注意力機(jī)制獲取情感信息，通過(guò)改進(jìn)的分層LSTM深層次地獲取句子內(nèi)部局部特征和句子時(shí)序關(guān)系以及句子之間的依賴(lài)關(guān)系，對(duì)比同樣結(jié)合方面信息的網(wǎng)絡(luò)模型，在數(shù)據(jù)集Restaurant上取得接近SVM的分類(lèi)性能，在數(shù)據(jù)集Laptop和Twitter上得到了較好的分類(lèi)效果。本文提出的模型層次復(fù)雜，算法復(fù)雜度較一般模型有所提高，模型通過(guò)增加模型層次和算法復(fù)雜度得到了更高的準(zhǔn)確率。

4.5 A-LSTM性能

本節(jié)針對(duì)改進(jìn)的A-LSTM進(jìn)行對(duì)比實(shí)驗(yàn)，在數(shù)據(jù)集Restaurant上分別選取2個(gè)、4個(gè)、6個(gè)方面目標(biāo)嵌入網(wǎng)絡(luò)模型，驗(yàn)證模型的二分類(lèi)結(jié)果，結(jié)果如圖3所示。隨著方面目標(biāo)數(shù)量的增多，模型分類(lèi)準(zhǔn)確率能夠保持平穩(wěn)，說(shuō)明當(dāng)面對(duì)多方面目標(biāo)文本時(shí)，模型有較好的擴(kuò)展性能，尤其當(dāng)分類(lèi)數(shù)量增多時(shí)，模型分類(lèi)準(zhǔn)確率優(yōu)于對(duì)比模型。

圖3???嵌入不同數(shù)量方面目標(biāo)的分類(lèi)準(zhǔn)確率對(duì)比

A-LSTM在實(shí)驗(yàn)中經(jīng)過(guò)若干次迭代，通過(guò)計(jì)算平均損失值判斷網(wǎng)絡(luò)性能，結(jié)果如圖4所示。隨著迭代次數(shù)的增加，兩種模型的平均損失逐漸降低，但改進(jìn)后的A-LSTM模型性能較好，在多次迭代下模型收斂的速度較快。

圖4???收斂速度對(duì)比

5 結(jié)束語(yǔ)

本文基于方面情感分析，提出結(jié)合區(qū)域卷積神經(jīng)網(wǎng)絡(luò)和改進(jìn)的分層LSTM的深度分層注意力網(wǎng)絡(luò)模型，模型通過(guò)卷積神經(jīng)網(wǎng)絡(luò)保留文本局部特征信息和不同句子時(shí)序關(guān)系，利用分層注意力LSTM獲取句子內(nèi)部和句子間的情感特征，其中通過(guò)添加特定方面信息并設(shè)計(jì)一個(gè)內(nèi)部動(dòng)態(tài)控制鏈，對(duì)傳統(tǒng)LSTM進(jìn)行了改進(jìn)。經(jīng)過(guò)實(shí)驗(yàn)對(duì)比，驗(yàn)證了本文模型的有效性，與基于方面情感的傳統(tǒng)深度網(wǎng)絡(luò)模型和基于注意力機(jī)制的網(wǎng)絡(luò)模型相比，文本情感分類(lèi)準(zhǔn)確率得到了有效提升。對(duì)于包含跨領(lǐng)域詞匯和網(wǎng)絡(luò)用語(yǔ)句子的方面情感分析，本文模型情感分類(lèi)效果有待提高，此問(wèn)題將是下一步的研究?jī)?nèi)容。

作者簡(jiǎn)介

宋婷（1984-），女，太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院中級(jí)實(shí)驗(yàn)師，主要研究方向?yàn)槿斯ぶ悄芘c數(shù)據(jù)挖掘 。

陳戰(zhàn)偉（1984-），男，中國(guó)移動(dòng)通信集團(tuán)山西有限公司高級(jí)工程師，主要研究方向?yàn)槿斯ぶ悄芘c數(shù)據(jù)挖掘 。

楊海峰（1980-），男，博士，太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授，主要研究方向?yàn)槿斯ぶ悄芘c數(shù)據(jù)挖掘 。

聯(lián)系我們:

Tel:010-81055448

? ? ? ?010-81055490

? ? ? ?010-81055534

E-mail:bdr@bjxintong.com.cn?

http://www.infocomm-journal.com/bdr

http://www.j-bigdataresearch.com.cn/

轉(zhuǎn)載、合作：010-81055537

大數(shù)據(jù)期刊

《大數(shù)據(jù)（Big Data Research，BDR）》雙月刊是由中華人民共和國(guó)工業(yè)和信息化部主管，人民郵電出版社主辦，中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專(zhuān)家委員會(huì)學(xué)術(shù)指導(dǎo)，北京信通傳媒有限責(zé)任公司出版的期刊，已成功入選中文科技核心期刊、中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)刊、中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦中文科技期刊，并被評(píng)為2018年國(guó)家哲學(xué)社會(huì)科學(xué)文獻(xiàn)中心學(xué)術(shù)期刊數(shù)據(jù)庫(kù)“綜合性人文社會(huì)科學(xué)”學(xué)科最受歡迎期刊。

關(guān)注《大數(shù)據(jù)》期刊微信公眾號(hào)，獲取更多內(nèi)容

總結(jié)

以上是生活随笔為你收集整理的基于分层注意力网络的方面情感分析的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。