使用python計算分詞結(jié)果的準(zhǔn)確率，召回率和F值

測試文件output.txt格式如下:

團(tuán) B B

圓 E E

是 BE BE

春 B B

節(jié) E E

千 B B

年 E E

不 B B

變 E E

的 BE BE

... ... ....

python代碼如下：

1、讀入output.txt文件,并建立相應(yīng)的列名為‘character‘,‘train‘,‘test‘的dataframe

importpandas

line=[]

file=open(r‘E:\大三下\王東波\CRF 相關(guān)\CRF 相關(guān)\crf++ tools\output.txt‘,‘r‘,encoding=‘utf-8‘)for i infile.readlines():

i=i[0:-1]if len(i)!=0 and len(i)!=1:

line.append(i.split(‘\t‘))

df=pandas.DataFrame(line,columns=[‘character‘,‘train‘,‘test‘])

【注：使用df.loc添加新行的速度太慢，因而使用列表向dataframe轉(zhuǎn)化】

2、構(gòu)建新的dataframe保存分詞準(zhǔn)確的部分

correct=df[df.train==df.test]

3、計算召回率、準(zhǔn)確率和F值

for i in (‘B‘,‘C‘,‘E‘,‘BE‘):

R=sum(correct.test==i)/sum(df.train==i)

P=sum(correct.test==i)/sum(df.test==i)

F=R*P*2/(R+P)print(i,‘:\n‘,‘R=‘,R,‘P=‘,P,‘F=‘,F)

計算結(jié)果如下：

B :

R= 0.915480621852 P= 0.87615255658 F= 0.895384944855C :

R= 0.674981658107 P= 0.757201646091 F= 0.713731574864E :

R= 0.919001751313 P= 0.879715004191 F= 0.898929336188BE :

R= 0.865064695009 P= 0.940703517588 F= 0.901299951854

總結(jié)

以上是生活随笔為你收集整理的用python计算准确率_分词结果准确率、召回率计算-python(示例代码)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。