分词结果准确率、召回率计算-python，,使用python计算

分词结果准确率、召回率计算-python，,使用python计算

使用python计算分词结果的准确率，召回率和F值

测试文件output.txt格式如下:

团    B    B圆    E    E是    BE    BE春    B    B节    E    E千    B    B年    E    E不    B    B变    E    E的    BE    BE...     ...     ....

python代码如下：

1、读入output.txt文件,并建立相应的列名为‘character‘,‘train‘,‘test‘的dataframe

import pandasline=[]file=open(r‘E:\大三下\王东波\CRF 相关\CRF 相关\crf++ tools\output.txt‘,‘r‘,encoding=‘utf-8‘)for i in file.readlines():    i=i[0:-1]    if len(i)!=0 and len(i)!=1:        line.append(i.split(‘\t‘))df=pandas.DataFrame(line,columns=[‘character‘,‘train‘,‘test‘])   

【注：使用df.loc添加新行的速度太慢，因而使用列表向dataframe转化】

2、构建新的dataframe保存分词准确的部分

correct=df[df.train==df.test]

3、计算召回率、准确率和F值

for i in (‘B‘,‘C‘,‘E‘,‘BE‘):    R=sum(correct.test==i)/sum(df.train==i)    P=sum(correct.test==i)/sum(df.test==i)    F=R*P*2/(R+P)    print(i,‘:\n‘,‘R=‘,R,‘ P=‘,P,‘ F=‘,F)

计算结果如下：

B : R= 0.915480621852  P= 0.87615255658  F= 0.895384944855C : R= 0.674981658107  P= 0.757201646091  F= 0.713731574864E : R= 0.919001751313  P= 0.879715004191  F= 0.898929336188BE : R= 0.865064695009  P= 0.940703517588  F= 0.901299951854

分词结果准确率、召回率计算-python