Python做文本挖掘的情感極性分析

數據挖掘入門與實戰2017-03-23 21:25:41line閱讀(27)評論(0) 聲明：本文由入駐搜狐公眾平臺的作者撰寫，除搜狐官方賬號外，觀點僅代表作者本人，不代表搜狐立場。舉報

　　數據挖掘入門與實戰 公眾號： datadw

　　「情感極性分析」是對帶有感情色彩的主觀性文本進行分析、處理、歸納和推理的過程。按照處理文本的類別不同，可分為基于新聞評論的情感分析和基于產品評論的情感分析。其中，前者多用于輿情監控和信息預測，后者可幫助用戶了解某一產品在大眾心目中的口碑。

　　目前常見的情感極性分析方法主要是兩種：基于情感詞典的方法和基于機器學習的方法。

　　1. 基于情感詞典的文本情感極性分析

　　筆者是通過情感打分的方式進行文本情感極性判斷，score > 0判斷為正向，score < 0判斷為負向。

　　1.1 數據準備 1.1.1 情感詞典及對應分數

　　詞典來源于BosonNLP數據下載

　　http://bosonnlp.com/dev/resource

　　的情感詞典，來源于社交媒體文本，所以詞典適用于處理社交媒體的情感分析。

　　詞典把所有常用詞都打上了唯一分數有許多不足之處。

• 之一，不帶情感色彩的停用詞會影響文本情感打分。在

• 之二，由于中文的博大精深，詞性的多變成為了影響模型準確度的重要原因。

  　　一種情況是同一個詞在不同的語境下可以是代表完全相反的情感意義，用筆者模型預測偏差最大的句子為例（來源于朋友圈文本）：

  　　有車一族都用了這個寶貝，后果很嚴重哦[偷笑][偷笑][偷笑]1，交警工資估計會打5折，沒有超速罰款了[呲牙][呲牙][呲牙]2，移動聯通公司大幅度裁員，電話費少了[呲牙][呲牙][呲牙]3，中石化中石油裁員2成，路癡不再迷路，省油[悠閑][悠閑][悠閑]5，保險公司裁員2成，保費折上折2成，全國通用[憨笑][憨笑][憨笑]買不買你自己看著辦吧[調皮][調皮][調皮]

  　　里面嚴重等詞都是表達的相反意思，甚至整句話一起表示相反意思，不知死活的筆者還沒能深入研究如何用詞典的方法解決這類問題，但也許可以用機器學習的方法讓神經網絡進行學習能夠初步解決這一問題。

  　　另外，同一個詞可作多種詞性，那么情感分數也不應相同，例如：

  　　這部電影真垃圾

  　　垃圾分類

  　　很明顯在第一句中垃圾表現強烈的貶義，而在第二句中表示中性，單一評分對于這類問題的分類難免有失偏頗。

1.1.2 否定詞詞典

　　否定詞的出現將直接將句子情感轉向相反的方向，而且通常效用是疊加的。常見的否定詞：不、沒、無、非、莫、弗、勿、毋、未、否、別、無、休、難道等。

　　1.1.3 程度副詞詞典

　　既是通過打分的方式判斷文本的情感正負，那么分數絕對值的大小則通常表示情感強弱。既涉及到程度強弱的問題，那么程度副詞的引入就是勢在必行的。詞典可從《知網》情感分析用詞語集（beta版）

　　http://www.keenage.com/download/sentiment.rar

　　下載。詞典內數據格式可參考如下格式，即共兩列，第一列為程度副詞，第二列是程度數值，> 1表示強化情感，< 1表示弱化情感。

　　

　　程度副詞詞典

　　1.1.4 停用詞詞典

　　中科院計算所中文自然語言處理開放平臺發布了有1208個停用詞的中文停用詞表，

　　http://www.datatang.com/data/43894

　　也有其他不需要積分的下載途徑。

　　http://www.hicode.cc/download/view-software-13784.html

　　1.2 數據預處理 1.2.1 分詞

　　即將句子拆分為詞語集合，結果如下：

　　e.g. 這樣/的/酒店/配/這樣/的/價格/還算/不錯

　　Python常用的分詞工具：

• 結巴分詞 Jieba

• Pymmseg-cpp

• Loso

• smallseg

fromcollections?importdefaultdict?importos?importre?importjieba?importcodecs?"""1. 文本切割"""defsent2word(sentence):?""" Segment a sentence to words Delete stopwords """segList = jieba.cut(sentence) segResult = []?forw?insegList: segResult.append(w) stopwords = readLines('stop_words.txt') newSent = []?forword?insegResult:?ifword?instopwords:?# print "stopword: %s" % word?continue?else: newSent.append(word)?returnnewSent

　　在此筆者使用Jieba進行分詞。

　　1.2.2 去除停用詞

　　遍歷所有語料中的所有詞語，刪除其中的停用詞

　　e.g. 這樣/的/酒店/配/這樣/的/價格/還算/不錯

　　--> 酒店/配/價格/還算/不錯

　　1.3 構建模型 1.3.1 將詞語分類并記錄其位置

　　將句子中各類詞分別存儲并標注位置。

　　"""2. 情感定位"""defclassifyWords(wordDict):# (1) 情感詞senList = readLines(?'BosonNLP_sentiment_score.txt') senDict = defaultdict()?fors?insenList: senDict[s.split(?' ')[?0]] = s.split(?' ')[?1]?# (2) 否定詞notList = readLines(?'notDict.txt')?# (3) 程度副詞degreeList = readLines(?'degreeDict.txt') degreeDict = defaultdict()?ford?indegreeList: degreeDict[d.split(?',')[?0]] = d.split(?',')[?1] senWord = defaultdict() notWord = defaultdict() degreeWord = defaultdict()?forword?inwordDict.keys():

　　ifword?insenDict.keys()?andword?notinnotList?andword?notindegreeDict.keys(): senWord[wordDict[word]] = senDict[word]

　　elifword?innotList?andword?notindegreeDict.keys(): notWord[wordDict[word]] =?-1elifword?indegreeDict.keys(): degreeWord[wordDict[word]] = degreeDict[word]

　　returnsenWord, notWord, degreeWord 1.3.2 計算句子得分

　　在此，簡化的情感分數計算邏輯：所有情感詞語組的分數之和

　　定義一個情感詞語組：兩情感詞之間的所有否定詞和程度副詞與這兩情感詞中的后一情感詞構成一個情感詞組，即notWords + degreeWords + sentiWords，例如不是很交好，其中不是為否定詞，很為程度副詞，交好為情感詞，那么這個情感詞語組的分數為：

　　finalSentiScore = (-1) ^ 1 * 1.25 * 0.747127733968

　　其中1指的是一個否定詞，1.25是程度副詞的數值，0.747127733968為交好的情感分數。

　　偽代碼如下：

　　finalSentiScore = (-1) ^ (num of notWords) * degreeNum * sentiScore

　　finalScore = sum(finalSentiScore)

　　"""3. 情感聚合"""defscoreSent(senWord, notWord, degreeWord, segResult):W =?1score =?0# 存所有情感詞的位置的列表senLoc = senWord.keys() notLoc = notWord.keys() degreeLoc = degreeWord.keys() senloc =?-1# notloc = -1# degreeloc = -1# 遍歷句中所有單詞segResult，i為單詞絕對位置fori?inrange(?0, len(segResult)):?# 如果該詞為情感詞ifi?insenLoc:?# loc為情感詞位置列表的序號senloc +=?1# 直接添加該情感詞分數score += W * float(senWord[i])

　　# print "score = %f" % scoreifsenloc < len(senLoc) -?1:

　　# 判斷該情感詞與下一情感詞之間是否有否定詞或程度副詞# j為絕對位置forj?inrange(senLoc[senloc], senLoc[senloc +?1]):?# 如果有否定詞ifj?innotLoc: W *=?-1# 如果有程度副詞elifj?indegreeLoc: W *= float(degreeWord[j])

　　# i定位至下一個情感詞ifsenloc < len(senLoc) -?1: i = senLoc[senloc +?1]?returnscore 1.4 模型評價

　　將600多條朋友圈文本的得分排序后做出散點圖：

　　

　　Score Distribution

　　其中大多數文本被判為正向文本符合實際情況，且絕大多數文本的情感得分的絕對值在10以內，這是因為筆者在計算一個文本的情感得分時，以句號作為一句話結束的標志，在一句話內，情感詞語組的分數累加，如若一個文本中含有多句話時，則取其所有句子情感得分的平均值。

　　然而，這個模型的缺點與局限性也非常明顯：

• 首先，段落的得分是其所有句子得分的平均值，這一方法并不符合實際情況。正如文章中先后段落有重要性大小之分，一個段落中前后句子也同樣有重要性的差異。

• 其次，有一類文本使用貶義詞來表示正向意義，這類情況常出現與宣傳文本中，還是那個例子：

  　　有車一族都用了這個寶貝，后果很嚴重哦[偷笑][偷笑][偷笑]1，交警工資估計會打5折，沒有超速罰款了[呲牙][呲牙][呲牙]2，移動聯通公司大幅度裁員，電話費少了[呲牙][呲牙][呲牙]3，中石化中石油裁員2成，路癡不再迷路，省油[悠閑][悠閑][悠閑]5，保險公司裁員2成，保費折上折2成，全國通用[憨笑][憨笑][憨笑]買不買你自己看著辦吧[調皮][調皮][調皮]2980元軒轅魔鏡帶回家，推廣還有返利[得意]

  　　Score Distribution中得分小于-10的幾個文本都是與這類情況相似，這也許需要深度學習的方法才能有效解決這類問題，普通機器學習方法也是很難的。

• 對于正負向文本的判斷，該算法忽略了很多其他的否定詞、程度副詞和情感詞搭配的情況；用于判斷情感強弱也過于簡單。

　　總之，這一模型只能用做BENCHMARK...

2. 基于機器學習的文本情感極性分析 2.1 還是數據準備 2.1.1 停用詞

　　（同1.1.4）

　　2.1.2 正負向語料庫

　　來源于有關中文情感挖掘的酒店評論語料，

　　http://www.datatang.com/data/11936

　　其中正向7000條，負向3000條（筆者是不是可以認為這個世界還是充滿著滿滿的善意呢…），當然也可以參考情感分析資源使用其他語料作為訓練集。

　　2.1.3 驗證集

　　Amazon上對iPhone 6s的評論，來源已不可考……

　　2.2 數據預處理 2.2.1 還是要分詞

　　（同1.2.1）

　　importnumpy?asnp?importsys?importre?importcodecs?importos?importjiebafrom gensim.models?importword2vecfrom sklearn.cross_validation?importtrain_test_splitfrom sklearn.externals?importjoblibfrom sklearn.preprocessing?importscalefrom sklearn.svm?importSVCfrom sklearn.decomposition?importPCAfrom scipy?importstatsfrom keras.models?importSequentialfrom keras.layers?importDense, Dropout, Activationfrom keras.optimizers?importSGDfrom sklearn.metrics?importf1_scorefrom bayes_opt?importBayesianOptimization?asBOfrom sklearn.metrics?importroc_curve, auc?importmatplotlib.pyplot?aspltdef parseSent(sentence): seg_list = jieba.cut(sentence) output =?''.join(list(seg_list)) # use space to join them return output 2.2.2 也要去除停用詞

　　（同1.2.2）

　　2.2.3 訓練詞向量

　　（重點來了！）模型的輸入需是數據元組，那么就需要將每條數據的詞語組合轉化為一個數值向量

　　常見的轉化算法有但不僅限于如下幾種：

　　（請原諒不知死活的胖子直接用展示的ppt截圖作說明，沒錯，我就是懶，你打我呀）

• Bag of Words

  　　

  　　Bag of Words

• TF-IDF

  　　

  　　TF-IDF

• Word2Vec

  　　

  　　Word2Vec

　　在此筆者選用Word2Vec將語料轉化成向量

　　def getWordVecs(wordList): vecs = []?forwordinwordList:

　　word=?word.?replace(?'n',?'')?try: vecs.append(model[?word]) except KeyError: continue?# vecs = np.concatenate(vecs)returnnp.array(vecs, dtype =?'float')def buildVecs(filename): posInput = []?withopen(filename,?"rb")?astxtfile:

　　# print txtfileforlinesintxtfile:?lines=?lines.?split(?'n ')

　　forlineinlines:?line= jieba.cut(?line) resultList = getWordVecs(?line)

　　# for each sentence, the mean vector of all its vectors is used to represent this sentenceiflen(resultList) !=?0: resultArray =?sum(np.array(resultList))/?len(resultList) posInput.append(resultArray)?returnposInput?# load word2vec modelmodel = word2vec.Word2Vec.load_word2vec_format(?"corpus.model.bin", binary = True)?# txtfile = [u'標準間太差房間還不如3星的而且設施非常陳舊.建議酒店把老的標準間從新改善.', u'在這個西部小城市能住上這樣的酒店讓我很欣喜，提供的免費接機服務方便了我的出行，地處市中心，購物很方便。早餐比較豐富，服務人員很熱情。推薦大家也來試試，我想下次來這里我仍然會住這里']posInput = buildVecs(?'pos.txt')negInput = buildVecs(?'pos.txt')?# use 1 for positive sentiment, 0 for negativey = np.concatenate((np.ones(?len(posInput)), np.zeros(?len(negInput))))X = posInput[:]?forneg?innegInput: X.append(neg)X = np.array(X) 2.2.4 標準化

　　雖然筆者覺得在這一問題中，標準化對模型的準確率影響不大，當然也可以嘗試其他的標準化的方法。

　　# standardizationX= scale(X) 2.2.5 降維

　　根據PCA結果，發現前100維能夠cover 95%以上的variance。

　　

　　PCA

　　# PCA# Plot the PCA spectrumpca.fit(X)plt.figure(?1, figsize=(?4,?3))plt.clf()plt.axes([?.2,?.2,?.7,?.7])plt.plot(pca.explained_variance_, linewidth=?2)plt.axis('tight')plt.xlabel('n_components')plt.ylabel('explained_variance_')X_reduced = PCA(n_components =?100).fit_transform(X) 2.3 構建模型 2.3.1 SVM (RBF) + PCA

　　SVM (RBF)分類表現更為寬松，且使用PCA降維后的模型表現有明顯提升，misclassified多為負向文本被分類為正向文本，其中AUC = 0.92，KSValue = 0.7。

　　"""2.1 SVM (RBF) using training data with 100 dimensions"""clf = SVC(C =?2, probability =?True)clf.fit(X_reduced_train, y_reduced_train)?print'Test Accuracy: %.2f'% clf.score(X_reduced_test, y_reduced_test)pred_probas = clf.predict_proba(X_reduced_test)[:,?1]?print"KS value: %f"% KSmetric(y_reduced_test, pred_probas)[?0]?# plot ROC curve# AUC = 0.92# KS = 0.7fpr,tpr,_ = roc_curve(y_reduced_test, pred_probas)roc_auc = auc(fpr,tpr)plt.plot(fpr, tpr, label =?'area = %.2f'% roc_auc)plt.plot([?0,?1], [?0,?1],?'k--')plt.xlim([?0.0,?1.0])plt.ylim([?0.0,?1.05])plt.legend(loc =?'lower right')plt.show()joblib.dump(clf,?"SVC.pkl") 2.3.2 MLP

　　MLP相比于SVM (RBF)，分類更為嚴格，PCA降維后對模型準確率影響不大，misclassified多為正向文本被分類為負向，其實是更容易overfitting，原因是語料過少，其實用神經網絡未免有些小題大做，AUC = 0.91。

　　"""2.2MLP using original training data with?400dimensions?"""model = Sequential()model.?add(Dense(?512, input_dim =?400, init =?'uniform', activation =?'tanh'))model.?add(Dropout(?0.5))model.?add(Dense(?256, activation =?'relu'))model.?add(Dropout(?0.5))model.?add(Dense(?128, activation =?'relu'))model.?add(Dropout(?0.5))model.?add(Dense(?64, activation =?'relu'))model.?add(Dropout(?0.5))model.?add(Dense(?32, activation =?'relu'))model.?add(Dropout(?0.5))model.?add(Dense(?1, activation =?'sigmoid'))model.compile(loss =?'binary_crossentropy', optimizer =?'adam', metrics = [?'accuracy'])model.fit(X_train, y_train, nb_epoch =?20, batch_size =?16)score = model.evaluate(X_test, y_test, batch_size =?16)?print(?'Test accuracy: ',

　　score[?1])pred_probas = model.predict(X_test)#?print"KS value: %f"% KSmetric(y_reduced_test, pred_probas)[?0]# plot ROC curve# AUC =?0.91fpr,tpr,_ = roc_curve(y_test, pred_probas)roc_auc = auc(fpr,tpr)plt.plot(fpr, tpr, label =?'area = %.2f'% roc_auc)plt.plot([?0,?1], [?0,?1],?'k--')plt.xlim([?0.0,?1.0])plt.ylim([?0.0,?1.05])plt.legend(?loc=?'lower right')plt.show() 2.4 模型評價

• 實際上，第一種方法中的第二點缺點依然存在，但相比于基于詞典的情感分析方法，基于機器學習的方法更為客觀

• 另外由于訓練集和測試集分別來自不同領域，所以有理由認為訓練集不夠充分，未來可以考慮擴充訓練集以提升準確率。

　　via http://www.jianshu.com/p/4cfcf1610a

總結

以上是生活随笔為你收集整理的Python做文本挖掘的情感极性分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。