之前我依據一篇論文中的中文金融情感詞典CFSD(chinese financial sentiment dictionary)，中文金融領域情感詞典構建， 整理成csv文件的情感詞典。現在我們找點財經類新聞文本數據來做點簡單的情感分析，

一、tushare介紹

tushare庫是目前比較流行的開源免費的經濟數據庫，tushare有普通版和高級版，其中普通版無需積分就可以使用，而高級版需要使用積分才可使用。

tushare基礎班提供了包括：交易數據，如歷史行情、復權數據、實時行情等

投資參考數據，如分配方案、業績預告、限售股解禁、基金持股、新浪數據、融資融券

股票分類數據、行業、概念、地域、中小板、創業板、封校警示板生

基本面數據、股票列表、業績報告（主表）、盈利能力、營運能力、償債能力等

宏觀經濟數據，如存款利率、貸款利率、GDP數據、工業品出場價格指數、居民消費節各直屬

新聞事件數據，如新浪股吧

龍虎榜數據

銀行間同業拆放理論

電影票房

安裝

!pip3 install tushare

Run

Collecting tushare

[?25l Downloading https://files.pythonhosted.org/packages/a9/8b/2695ad38548d474f4ffb9c95548df126e82adb24e56e2c4f7ce1ef9fbd01/tushare-1.2.43.tar.gz (168kB)

[K 100% |████████████████████████████████| 174kB 162kB/s ta 0:00:01

[?25hBuilding wheels for collected packages: tushare

Running setup.py bdist_wheel for tushare ... [?25ldone

[?25h Stored in directory: /Users/thunderhit/Library/Caches/pip/wheels/4b/28/7b/62d7a4155b34be251c1840e7cecfa4c374812819c59edba760

Successfully built tushare

Installing collected packages: tushare

Successfully installed tushare-1.2.43

[33mYou are using pip version 18.1, however version 19.2.3 is available.

You should consider upgrading via the 'pip install --upgrade pip' command.[0m

二、新聞數據

新聞事件接口主要提供國內財經、證券、港股和期貨方面的滾動新聞，以及個股的信息地雷數據。但目前只有新浪股吧api的接口可用，其他的需要使用tushare高級版。

獲取sina財經股吧首頁的重點消息。股吧數據目前獲取大概17條重點數據，可根據參數設置是否顯示消息內容，默認情況是不顯示。

參數說明：show_content:boolean,是否顯示內容，默認False

返回值說明：title, 消息標題

content, 消息內容（show_content=True的情況下）

ptime, 發布時間

rcounts,閱讀次數

調用方法

import tushare as ts

#顯示詳細內容

newsdata = ts.guba_sina(show_content=True)

newsdata.head(10)

三、讀取詞典

之前制作的中文金融情感詞典是csv文件格式，我們使用pandas讀取

import pandas as pd

df = pd.read_csv('CFSD/pos.csv', encoding='gbk')

df.head()

我們將讀取詞典定義成函數

def read_dict(file, header):

"""

file: 詞典路徑

header: csv文件內字段名，如postive

讀取csv詞典，返回詞語列表

"""

df = pd.read_csv(file, encoding='gbk')

return list(df[header])

poswords = read_dict(file= 'CFSD/pos.csv', header = 'postive')

negwords = read_dict(file= 'CFSD/neg.csv', header ='negative')

negwords[:5]

run

['閉門造車', '閉塞', '云里霧里', '拖累', '過熱']

四、情感分析方法

這里我們對新聞content內容進行情感分析，分析的思路是統計content中正、負詞的占比。我們會用到pandas的 df.agg(func)方法對content列進行文本計算。這需要先定義一個待調用的情感計算函數,注意有可能出現分母為0，所以定義的函數使用了try except捕捉0除異常，返回0

import jieba

def pos_senti(content):

"""

content: 待分析文本內容

返回正面詞占文本總詞語數的比例

"""

try:

pos_word_num = 0

words = jieba.lcut(content)

for kw in poswords:

pos_word_num += words.count(kw)

return pos_word_num/len(words)

except:

return 0

def neg_senti(content):

"""

content: 待分析文本內容

返回負面詞占文本總詞語數的比例

"""

try:

neg_word_num = 0

words = jieba.lcut(content)

for kw in negwords:

neg_word_num += words.count(kw)

return neg_word_num/len(words)

except:

return 0

對content列分別施行情感計算函數possenti，negsenti，將得到的得分賦值給pos、neg列

newsdata['pos']=newsdata['content'].agg(pos_senti)

newsdata['neg']=newsdata['content'].agg(neg_senti)

newsdata.head(10)

我們的數據中出現了pos和neg兩個得分，我們還可以定義一個判斷函數，判斷文本的情緒分類。當pos比neg大，判斷為'正'

當pos比neg小，判斷為'負'

這里不嚴謹，為了教程簡單，沒考慮相等的情況

newsdata['senti_classification'] = newsdata['pos']>newsdata['neg']

newsdata['senti_classification'] = newsdata['senti_classification'].map({True:"正", False:"負"})

newsdata.head(10)

總結

至此，簡單的情感計算就實現了。大家使用本文時，要注意：本文使用的情感詞典是CFSD中文金融情感詞典，大家可以用自己領域的詞典，得到poswords和negwords

還有要注意的是情感計算函數（possenti和negsenti），有不同的算法就有不同的結果

正負面傾向判斷，我這里比較粗糙，沒有考慮相等的中性問題。

注意以上幾點，本文的代碼就可復用。不過再好的代碼，前提是會python，會懂編程思維，知道如何寫代碼改代碼，不然大家用起來也比較困難。廣告再次襲來

2019年10月4日-6日，杭州

咨詢請加微信 372335839 ，記得備注”工作坊”

歡迎掃碼咨詢！！

關注公眾號：大鄧和他的python

后臺回復"20190915", 下載本文notebook代碼

總結

以上是生活随笔為你收集整理的python行业中性_用python进行金融市场文本数据的情感计算的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。