• 簡(jiǎn)介與背景

• 情感分類及其作用

情感分類是情感分析的重要組成部分，情感分類是針對(duì)文本的情感傾向進(jìn)行極性分類，分類數(shù)量可以是二分類（積極或消極），也可以是多分類（按情感表達(dá)的不同程度），情感分析在影音評(píng)論、商品評(píng)價(jià)、輿情分析、股民基金情感分析等都有重要的應(yīng)用。對(duì)于社會(huì)輿論，研究人員通過(guò)情感分類對(duì)熱點(diǎn)事件進(jìn)行分析，尋找社會(huì)熱點(diǎn)話題的爆發(fā)原因、判斷后續(xù)發(fā)展，這對(duì)政府了解社會(huì)民意，預(yù)防危害事件的發(fā)生具有輔助支撐作用；對(duì)于智能問(wèn)答，機(jī)器人或其他人機(jī)交互載體可以判斷對(duì)話人的情感傾向，做出適配對(duì)華人情感的回答；在商品和服務(wù)評(píng)論分析方面，對(duì)評(píng)價(jià)對(duì)象和評(píng)價(jià)表達(dá)進(jìn)行抽取，識(shí)別評(píng)論中的情感傾向性，對(duì)消費(fèi)者挑選商品，商家改進(jìn)商品/服務(wù)具有一定的輔助作用情感分類可以幫助研究機(jī)構(gòu)、企業(yè)為用戶建立畫(huà)像，了解用戶在購(gòu)物、觀影、運(yùn)動(dòng)等場(chǎng)景下的不同偏好，從而為客戶推薦更符號(hào)客戶心意的產(chǎn)品或服務(wù)。也可以幫助決策者建立針對(duì)輿情、股票等場(chǎng)景的輔助系統(tǒng)，幫助決策者做出判斷。

• 情感分類方法

根據(jù)使用的不同方法，可以將情感分類分為：基于情感詞典的情感分類方法、基于機(jī)器學(xué)習(xí)的情感分類方法和基于深度學(xué)習(xí)的情感分類方法。 1、基于情感詞典的情感分類方法 基于情感詞典的方法，根據(jù)事先給定的情感詞典所給出的情感詞的情感極性，完成對(duì)文章、段落、句子、單詞等不同粒度的文本的情感極性分類，常見(jiàn)的情感詞典有：SentiwordNet、NTUSD、知網(wǎng)Hownet、清華大學(xué)李軍中文褒貶義詞典等。基于情感詞典的情感分類可以準(zhǔn)確反映文本的單詞情感極性，幫助使用者快速理解。但是基于情感詞典的情感分類也有很多缺點(diǎn)，當(dāng)情感詞不能被完全覆蓋的情況下，情感分類效果令人擔(dān)憂。基于情感詞典的情感分類方法依賴于選取的情感詞典的健壯性，隨著網(wǎng)絡(luò)的快速發(fā)展，情感詞典不能完全包括例如歇后語(yǔ)、成語(yǔ)、網(wǎng)絡(luò)用語(yǔ)等新詞；同時(shí)，同一情感詞在不同時(shí)間、語(yǔ)境下的表達(dá)可能不同，這些問(wèn)題制約了基于情感詞典的情感分類的發(fā)展。 2、基于機(jī)器學(xué)習(xí)的情感分類方法 基于機(jī)器學(xué)習(xí)的情感分類方法，是讓機(jī)器對(duì)給定的數(shù)據(jù)訓(xùn)練集，通過(guò)研究者給定的一種學(xué)習(xí)方法，進(jìn)行學(xué)習(xí)、建模，達(dá)到可以預(yù)測(cè)文本情感極性的方法，隨著計(jì)算機(jī)性能的提升，基于機(jī)器學(xué)習(xí)的情感分類方法取得了諸多有效成果。

• 基于深度學(xué)習(xí)的情感分類方法研究現(xiàn)狀

• 面向情感分類的深度學(xué)習(xí)架構(gòu)

1、基于BiLSTM的的情感分類模型

XU等人提出了一種改進(jìn)的詞表示方法，將情感信息整合到傳統(tǒng)的TF-IDF算法中生成加權(quán)詞向量，并將加權(quán)詞向量輸入到BiLSTM中，捕獲文本上下文信息，達(dá)到更好地表示文本向量的目的。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型信息只能向前傳播，t的狀態(tài)只依賴于時(shí)間t之前的信息。為了使每個(gè)時(shí)刻都包含上下文信息，XU等人采用了雙向RNN模型和LSTM單元相結(jié)合的BiLSTM來(lái)捕獲上下文信息。在左圖中，首先構(gòu)建了包含情感信息和分類貢獻(xiàn)的加權(quán)詞向量。首先，將加權(quán)詞向量作為BiLSTM的輸入，BiLSTM模型的輸出為輸入文本的表示。然后，將評(píng)論文本向量輸入前饋神經(jīng)網(wǎng)絡(luò)分類器。最后，得到評(píng)論的情感傾向。其中，前饋神經(jīng)網(wǎng)絡(luò)的激活函數(shù)為ReLU函數(shù)，NodeNum為L(zhǎng)STM隱層的節(jié)點(diǎn)數(shù)，同時(shí)為了防止過(guò)擬合，XU等人引入dropout機(jī)制，并將dropout的丟棄率設(shè)置為0.5。

2、SLCABG模型

YANG等人基于情感詞，結(jié)合CNN和BiGRU，提出了一種新的情感分析模型SLCABG。SLCABG結(jié)合了情感詞和深度學(xué)習(xí)技術(shù)的優(yōu)點(diǎn)，首先，利用情感詞匯增強(qiáng)評(píng)論的情感特征，然后利用CNN和GRU網(wǎng)絡(luò)提取評(píng)論中的主要情感特征和語(yǔ)境特征，并利用注意機(jī)制進(jìn)行權(quán)重。最后對(duì)加權(quán)的情感特征進(jìn)行分類。

SLCABG模型包含嵌入層、卷積層、池化層、BiGRU層、注意層和全連接層。模型結(jié)構(gòu)如圖1所示。嵌入層使用BERT模型將文本表示為一個(gè)加權(quán)詞向量矩陣，使用情感權(quán)重對(duì)單詞向量進(jìn)行加權(quán)；卷積層的主要功能是提取輸入矩陣中最重要的局部特征。池化層對(duì)卷積層得到的文本特征進(jìn)行壓縮，進(jìn)行更深一步的特征提取，YANG等人認(rèn)為在一個(gè)句子中影響最大的往往是幾個(gè)單詞或短語(yǔ)，因此使用k-max pooling進(jìn)行特征提取。

3、ABCDM模型

Mohammad Ehsan Basiri等人提出了一種新的深度模型ABCDM。ABCDM使用嵌入、BiGRU、BiLSTM、注意力機(jī)制和CNN捕獲長(zhǎng)依賴關(guān)系和局部特征。首先在嵌入層使用Bi-LSTM和Bi-GRU兩個(gè)并行層對(duì)任意的文本序列進(jìn)行處理，提取文本的長(zhǎng)依賴關(guān)系和后向信息。之后將注意機(jī)制應(yīng)用于htLSTM和htGRU，使ABCDM能夠?qū)ξ谋局械牟煌瑔卧~進(jìn)行注意力加權(quán)。最后，對(duì)重要權(quán)重進(jìn)行加權(quán)和，將其聚合為評(píng)論向量。同時(shí)，利用CNN提取信息局部特征，降低輸入數(shù)據(jù)的維數(shù)。模型最后數(shù)據(jù)輸出至具有sigmoid函數(shù)的全連接層進(jìn)行分類。ABCDM架構(gòu)如下圖所示：

• 基于深度學(xué)習(xí)的情感分類方法論述

Faisal Alshuwaier等人對(duì)深度學(xué)習(xí)方法進(jìn)行文獻(xiàn)綜述，對(duì)情感分類技術(shù)的最新進(jìn)展進(jìn)行調(diào)查，發(fā)現(xiàn)遞歸神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、領(lǐng)域-對(duì)抗網(wǎng)絡(luò)模型和混合神經(jīng)網(wǎng)絡(luò)在情感分類方面效果顯著。Anisha P Rodrigues等人認(rèn)為基于情感分類判斷推特推文是否為垃圾信息。首先提取推文特征并分類，而后使用決策樹(shù)、邏輯回歸、多項(xiàng)式納烏夫貝葉斯、支持向量機(jī)、隨機(jī)森林和貝葉斯等機(jī)器學(xué)習(xí)方法進(jìn)行垃圾郵件檢測(cè)，之后使用RNN、LSTM、BiLSTM和CNN進(jìn)行情感分類，其中隸屬于RNN的深度學(xué)習(xí)模型LSTM的驗(yàn)證準(zhǔn)確率達(dá)到了98.74%。

Anirban Adak等人研究了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)在預(yù)測(cè)情感分類方面的工作，他們認(rèn)為基于詞法和機(jī)器學(xué)習(xí)的情感分類廣泛使用但是由于缺乏可解釋性，深度學(xué)習(xí)技術(shù)使用有限，但是也沒(méi)有否認(rèn)深度學(xué)習(xí)模型具有良好的性能，Anirban Adak等人認(rèn)為基于深度學(xué)習(xí)的情感分類模型下一步工作應(yīng)該使模型更具解釋性。

Chetanpal Singh等人提出了一種基于LSTM-RNN的深度學(xué)習(xí)方法，用于分析與COVID-19相關(guān)的推特?cái)?shù)據(jù)。該算法基于現(xiàn)有的LSTM-RNN模型，使用增強(qiáng)的注意力機(jī)制特征轉(zhuǎn)換框架加強(qiáng)特征權(quán)重，與現(xiàn)有方法相比，本方法準(zhǔn)確率提高了20%，可以實(shí)現(xiàn)對(duì)新冠肺炎疫情評(píng)論的情感分類。

RAJ PAREKH等人提出了一種DL-Gues框架進(jìn)行加密貨幣價(jià)格預(yù)測(cè)，該框架首先對(duì)數(shù)據(jù)進(jìn)行歸一化處理，然后將預(yù)測(cè)價(jià)格作為過(guò)去w天加密貨幣價(jià)格的輸入保存到模型中，預(yù)測(cè)w+1天的價(jià)格，直到迭代次數(shù)等于預(yù)測(cè)窗口長(zhǎng)度，此外，該模型使用基于GRU和LSTM的混合模型解決梯度消失問(wèn)題。

Ahmed Alsayat使用自定義深度學(xué)習(xí)模型，結(jié)合詞嵌入，建立基于詞嵌入和LSTM網(wǎng)絡(luò)的魯棒框架，學(xué)習(xí)單詞之間的上下文關(guān)系，理解冠狀病毒等相對(duì)新興單詞。加入對(duì)新興詞的權(quán)重提高情感分類精度，通過(guò)模型在亞馬遜和Yelp數(shù)據(jù)集的實(shí)驗(yàn)可以證明，提出的模型的性能在分類精度方面優(yōu)于其他模型。

• 使用Cornell情感分類數(shù)據(jù)集進(jìn)行的情感分類方法

Sourav Das等人提出了一種利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行情感評(píng)估準(zhǔn)確性的新方法——構(gòu)建了一個(gè)深度CNN架構(gòu)，能夠?qū)⒕哂星楦袠?biāo)記的詞向量作為輸入，通過(guò)調(diào)整學(xué)習(xí)率和減少輸入數(shù)據(jù)的向量維度來(lái)防止過(guò)擬合，提供一個(gè)有限維度的矩陣幫助池化層學(xué)習(xí)到最好的數(shù)據(jù)特征，通過(guò)在Cornell情感分類數(shù)據(jù)集等幾個(gè)流行的開(kāi)源文本語(yǔ)料庫(kù)進(jìn)行測(cè)試發(fā)現(xiàn)，Sourav?Das等人提出的模型保持了整體性能的穩(wěn)定性。

Erik Cambria等人提出了一個(gè)基于常識(shí)的神經(jīng)符號(hào)框架——SenticNet 7，首先，通過(guò)詞匯替代的方法發(fā)現(xiàn)近義詞集合，其次，計(jì)算近義詞的情感相似性，為每個(gè)近義詞集選定最具代表性的術(shù)語(yǔ)命名，最后，通過(guò)研究各對(duì)立基元對(duì)之間的多維路徑，進(jìn)一步細(xì)化基元集。SenticNet 7采用了無(wú)監(jiān)督和可再現(xiàn)的次符號(hào)技術(shù)，如自動(dòng)回歸語(yǔ)言模型，將自然語(yǔ)言轉(zhuǎn)換為一種原始語(yǔ)言，從而以完全可解釋和解釋的方式從文本中提取情感極性。SenticNet 7評(píng)估了包括Cornell情感分類數(shù)據(jù)集在內(nèi)的多個(gè)情感分類數(shù)據(jù)集，SenticNet 7豐富的單詞特征提取能力使得其顯示了較好的準(zhǔn)確性。

Rabeeh Karimi Mahabadi等人提出了PERFECT模型，在不依賴任何人工處理的情況下對(duì)預(yù)訓(xùn)練掩碼語(yǔ)言模型進(jìn)行少次微調(diào)，在微調(diào)期間學(xué)習(xí)新的多標(biāo)記標(biāo)簽嵌入，使得嵌入不僅可以從有限的數(shù)據(jù)中學(xué)習(xí)，而且可以使訓(xùn)練和預(yù)測(cè)速度有效提升。在Cornell情感分類數(shù)據(jù)集中的實(shí)驗(yàn)表明，PERFECT在簡(jiǎn)單高效的同時(shí)，也優(yōu)于現(xiàn)有的其他方法。

• 關(guān)于方法和參考文獻(xiàn)的討論

1、面向情感分類的深度學(xué)習(xí)架構(gòu)

本文分析的3個(gè)面向情感分類的深度學(xué)習(xí)架構(gòu)參考文獻(xiàn)信息為：

2、基于深度學(xué)習(xí)的情感分類方法論述

本文分析的5個(gè)基于深度學(xué)習(xí)的情感分類方法論述參考文獻(xiàn)信息為：

3、使用Cornell情感分類數(shù)據(jù)集進(jìn)行的情感分類方法

總結(jié)

以上是生活随笔為你收集整理的深度学习在情感分类中的应用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。