在信息检索、分类体系中,有一系列的指标,在学术研究和工程应用上经常出现。以上名词的中文名分别是:准确率、找回率、F1、平均正确率、ROC、AUC(ROC曲线下的面积)。
在信息检索中,常用Precision、Recall、F1、mAP指标进行评价系统性能,左图就是一份可以计算mAP的曲线图。
在分类和识别中,常用ROC和AUC来衡量体系性能,这也和我们常常认识的正例分对,错例分错相对应。这些指标常常在论文中出现,了解这些指标非常重要。下面的博客将详细介绍这些指标。
一、准确率、召回率、F1
召回率(Recall)= 索引到的相关文件 / 所有相关文件总数
准确率(Precision) = 所引导的相关文件 / 索引到的文件总数
单独的P和R的指标不能全面的描述正确率,于是综合P和R提出的F1指标旨在综合衡量检索正确率。
二、AP和mAP(mean Average Precision)
由于P、R、F-measure具有单点局限性,mAP是为了提到一个全局性能指标提出来的。
可以看出,虽然两个系统的性能曲线有所交叠,但是以圆圈为代表的系统的性能绝大多数情况要好于方框系统。
从中我们可以发现,一个系统性能较好,其P-R曲线应尽量向上凸起,mAP就是曲线下方的面积,于是平均正确率mAP的规范定义如下:
三、ROC和AUC
ROC和AUC是分类器指标。
ROC全名为Receiver Operating characteristic,其关注两个指标:
True Positive Rate (TPR)= TP / [ TP + FN],正例分对概率
False Positive Rate (FPR) = FP / [FP + TN],错例分错概率
ROC空间中横坐标是FPR,纵坐标是TPR,这样画出的曲线为ROC曲线,它反映出TP和FP的trade-off。
比如,在二类分类问题中,我们可以变化阈值,对不同的阈值进行分类,根据分类结果,计算得到ROC空间对应点,这样就构成了ROC曲线。
AUC全名为Area Under roc Curve,就是ROC曲线下的面积的意思。
四、PR与ROC
一般前者用于检索,后者用于分类识别
提供一个AUC计算器,点击链接哦。