信息检索(IR)的评价指标——Precision、Recall、F1、mAP、ROC、AUC

0_1309960406ypy4        在信息检索、分类体系中,有一系列的指标,在学术研究和工程应用上经常出现。以上名词的中文名分别是:准确率、找回率、F1、平均正确率、ROC、AUC(ROC曲线下的面积)。

        在信息检索中,常用Precision、Recall、F1、mAP指标进行评价系统性能,左图就是一份可以计算mAP的曲线图。

        在分类和识别中,常用ROC和AUC来衡量体系性能,这也和我们常常认识的正例分对,错例分错相对应。这些指标常常在论文中出现,了解这些指标非常重要。下面的博客将详细介绍这些指标。

一、准确率、召回率、F1

召回率(Recall)= 索引到的相关文件 / 所有相关文件总数

准确率(Precision) = 所引导的相关文件 / 索引到的文件总数

prf_

        单独的P和R的指标不能全面的描述正确率,于是综合P和R提出的F1指标旨在综合衡量检索正确率。

二、AP和mAP(mean Average Precision)

        由于P、R、F-measure具有单点局限性,mAP是为了提到一个全局性能指标提出来的。

 0_1309960406ypy4

        可以看出,虽然两个系统的性能曲线有所交叠,但是以圆圈为代表的系统的性能绝大多数情况要好于方框系统。

        从中我们可以发现,一个系统性能较好,其P-R曲线应尽量向上凸起,mAP就是曲线下方的面积,于是平均正确率mAP的规范定义如下:

0_1309960618bj5b

三、ROC和AUC

        ROC和AUC是分类器指标。

        ROC全名为Receiver Operating characteristic,其关注两个指标:

True Positive Rate (TPR)= TP / [ TP + FN],正例分对概率

False Positive Rate (FPR) = FP / [FP + TN],错例分错概率

        ROC空间中横坐标是FPR,纵坐标是TPR,这样画出的曲线为ROC曲线,它反映出TP和FP的trade-off。

0_1309961149x6fy

        比如,在二类分类问题中,我们可以变化阈值,对不同的阈值进行分类,根据分类结果,计算得到ROC空间对应点,这样就构成了ROC曲线。

        AUC全名为Area Under roc Curve,就是ROC曲线下的面积的意思。

四、PR与ROC

        一般前者用于检索,后者用于分类识别

        提供一个AUC计算器,点击链接哦。

发表评论