前言

選擇了nlp作為自己從事的職業，開始繼續提升自己的能力，今天看了一個別人總結的情感分析的帖子，特此分享給大家。

目錄

文章目錄

• 前言
• 目錄
• 正文
• 一點歷史
• Supervised Learning
• Unsupervised Learning
• 有關中文
• 關于未來

正文

最近關于NLP（Natural Language Processing）中情感分析的問題做了一些調研，現在記錄一下有關的知識點以便總結和以后復習。
這是什么

情感分析顧名思義是要分析作者對于某件事情或者某個商品的態度。隨著各種網絡平臺的搭建，每個人都可以“自由地”抒發自己的想法，買件東西可以評論，讀條新聞可以評論，看個電影照樣可以評論。網絡上，文字無處不在，從這些文字中我們可以從一個側面了解到大家對于這件事情或者這個商品的看法，以便更好地改進產品。這也就是情感分析的目的。

一點歷史

Sentiment Analysis這個詞第一次出現在(Nasukawa and Yi, 2003 ),類似地Opinion Mining第一次出現在（Dave, Lawrence and Pennock, 2003）。雖然2000年之前也有一些對情感分析的工作，但是由于互聯網沒有廣泛普及，可以用到的數據并不多，情感分析并沒有得到大家的重視和大規模研究。在它發展至今的這十幾年也是大數據發展最火的十幾年，從開始采用最基本的機器學習算法（例如logistic regression, SVM, Naive Bayes, Maximum Entropy）到現在更多的人采用深度神經網絡。來自伊利諾伊大學的劉老師提出了LifeLong Learning的概念，更是引起了我極大的興趣。若機器可以和人類一樣活到老學到，那么離真正的人工智能可能又進了一大步。
解決方法

解決這類問題的方法可以從多個角度入手，如果有大量標記好的數據，那么可以從監督學習角度入手。但現實情況更多的是我們需要面對很多無標記的數據，如果沒有人力進行標注，那可能就需要從無監督學習角度入手。學術界還衍生出半監督學習（有部分標簽數據，但會利用很多無標簽數據來提供算法精確度的方法），自我學習等算法。在情感識別的問題上，大部分采用了監督學習的方法，因為大部分利用了IMDB中有標簽的電影評論數據。

Supervised Learning

情感分析可以被看做基本的分類問題，大部分的研究中都會將文本分為postive或者negative。Pang, Lee and Vaithyanathan (2002) 第一次采用了經典的Naive Bayes, Maximum Entropy和SVM對電影評論進行了分類，并且比較了幾個分類器的性能。他們的數據來源是IMDB，并且所有數據都是標注好是positive或者negative，這給監督性學習省了很多人力工作。采用的feature是unigram。從他們的比較結果來看，SVM的表現是最好的。在后幾年的研究中，逐漸引入了其他有用的feature，例如TF-IDF, POS, Sentiment Shifter等來提高分類器的精度。

除了使用經典的機器學習算法，Dave, Lawrence and Pennock, 2003 根據正面負面詞匯組織了一個score function對整個文檔進行打分，若高分為正面反之為負面。

Unsupervised Learning

Turney, 2002 介紹了一種基于句法規則的無監督學習方法，具體規則并沒有仔細研究。另外一種無監督學習的角度是基于詞典的，利用一些情感詞的詞性，語氣強度，和一些否定詞匯計算出整個文檔的情感。
現有工具（專注于情感識別功能）

LingPipe： http://alias-i.com/lingpipe/demos/tutorial/sentiment/read-me.html 基本上實現了上文提到的Pang and Lee論文中提到的算法，當然是從監督學習的角度出發。所以在用之前應該有標記好的數據。只適用于英文。

Stanford CoreNLP：http://nlp.stanford.edu/sentiment/code.html Stanford用到了時下最流行的深度學習，創業公司metamind 也是用了相同的模型，因為創始人就是整個coreNLP中sentiment analysis的發明人。跑了一下demo，可以很詳細分析出每句話是正面或負面，效果很好。但貌似只能適用英文，雖然Stanford有強大的中文自然語言處理小組http://nlp.stanford.edu/projects/chinese-nlp.shtml，也提供了很多有用的工具例如分詞，POS，NER等。但在情感識別上還沒有對中文進行支持。

現有的一些情感分析工具大部分都基于英文，分析的方法也很類似。在中文的方面，情感分析工具還是個空缺。

有關中文

面臨的一些主要挑戰：1.中文相對英文首先不同的是需要分詞，分詞的好壞直接決定了后面做分析的精確度。在分詞方面倒是有些工具可以利用，Stanford Chinese Segmenter， 哈工大的LTP都可以做到。2.若采用經典監督學習角度分析，缺失有標記的數據庫，無法完成訓練。3.英文中很多的現成成果無法對中文使用。

有很多學者也專注與這個問題做了很多cross language的研究，就是如何應用英語中很多的成果到其他語種中去。大都基于機器翻譯做一次中間步驟，例如將語料庫翻譯成中文作為訓練集或者將無標簽數據翻譯成英文做為待預測數據，但都跟機器翻譯的準確度緊密相連，所以不是很成熟。

關于未來

深度學習慢慢在滲透著AI的各個領域，NLP自然也不例外。深度學習大師Yoshua Bengio 也預測NLP會是深度學習下一個爆發的點。不過上文提到的劉老師提出的lifelong learning貌似更高大上。在自然語言處理上，雖然已經有很多研究，當然有很多不足。尤其是在對英語以外的語種上，可以做的事情還有很多。

Never Stop Thinking! Peace!

總結

以上是生活随笔為你收集整理的关于情感分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。