目录
4、查准率（precision）——预测为正样本中的预测正确的比例
1）P-R曲线——Precision和Recall组成的曲线
一、分类任务性能指标
参考：分类器的性能评估（Performance measure）指标 – 知乎
分类任务性能指标，主要是根据混淆矩阵进行扩展的性能指标。如正确率、错误率、查全率、查准率、ROC、AUC等
1、混淆矩阵
混淆矩阵是对验证集样本的预测情况进行统计得到的表格
上图的混淆矩阵为二分类问题的混淆矩阵。二分类问题是生活中很常见的任务之一，比如医生根据各种生理指标判断一个人是一型糖尿病还是二型糖尿病。在上图中Predicted和Actual分别表示预测值和真实值，在糖尿病检测中，predicted表示医生的诊断，actual表示患者的的真实情况。这个例子可能不是非常贴切，因为一般来说医生的诊断出错的概率并不大，不过不排除有一定的误诊率。上图中的四个象限分别表示：
- TP（True Positive）：预测正确的正例
- FP（False Positive）：预测错误的正例，在统计学中又叫第二类错误
- FN（False Negative）：预测错误的反例，在统计学中叫做第一类错误
- TN（True Negative）：预测正确的反例
2、精确度ACCURACY = 正确数/总数
3、查全率（RECALL）——真正正样本中预测正确的比例
4、查准率（precision）——预测为正样本中的预测正确的比例
5、F-score——对查准率和查全率进行结合的一个参数
6、ROC曲线与AUC
具体可以参考文章：机器学习之支持向量机SVM之python实现ROC曲线绘制（二分类和多分类）
1) 真正率：TPR——RECALL
真正率——正确预测为正样本的样本数占真正样本的比例
2）假正率：FPR = FP /（TN+FP）
假正率——错误预测为正样本的样本数占真负样本的比例
3)AUC——由TPR-FPR曲线（ROC）包围的面积
ROC曲线是通过改变分类的阈值，进而得到一系列的 （TPR,FPR）的点，然后根据阈值从小到大得到的点绘制成TPR-FRP曲线，这条曲线称之为ROC曲线，然后 计算曲线包围的面积，当面积越大时，说明性能越好。即 AUC越大性能越好
7、P-R曲线与AP
1）P-R曲线——Precision和Recall组成的曲线
跟ROC曲线类似，改变阈值，得到一系列的RECALL和PRECISION点，绘制成的曲线。
P-R曲线包围的面积越大越好
P-R曲线包围的面积称之为AP，AP越大性能越好
2）AP
P-R曲线包围的面积称之为AP，AP越大性能越好
计算map实例
二、回归任务性能指标
参考：【机器学习实战】性能指标之回归问题_QianT-CSDN博客
回归任务性能指标主要是通过对比预测值和真实值之间的偏差程度来判断。一般有均方差（MSE）、均方根差（RMSE）、平均绝对值误差（MAE）、R-误差
1、均方差（MSE）
2、均方根误差（RMSE）
3、平均绝对值误差（MAE）
4、R-误差
三、深度学习中的性能指标
参考：睿智的目标检测20——利用mAP计算目标检测精确度_Bubbliiiing的学习小课堂-CSDN博客_睿智的目标检测
1、对于分类任务来说
和上述分类任务指标一样
2、对于目标检测来说
分类任务中也适用，目标检测实质上就是分类，只是类别多了而已
1）IOU（交并比）
2）AP与MAP
AP——在分类任务提到
AP其实就是上面说的P-R曲线的面积，变换不同的阈值，得到的RECALL和PRECISION的曲线，面积越大越好
AP事实上指的是，利用不同的Precision和Recall的点的组合，画出来的曲线下面的面积。
如下面这幅图所示。
当我们取不同的置信度，可以获得不同的Precision和不同的Recall，当我们取得置信度够密集的时候，就可以获得非常多的Precision和Recall。
此时Precision和Recall可以在图片上画出一条线，这条线下部分的面积就是某个类的AP值。
MAP——所有内的AP的均值
mAP就是所有的类的AP值求平均。如下图所示，一行就代表一个类的AP，假设有N行，则MAP计算为：
具体map的绘制参考：map绘制
3、FPS——检测速度
除了检测准确度，目标检测算法的另外一个重要性能指标是速度，只有速度快，才能实现实时检测，这对一些应用场景极其重要。评估速度的常用指标是 每秒帧率（Frame Per Second，FPS），即每秒内可以处理的图片数量。当然要对比FPS，你需要在同一硬件上进行。另外也可以使用处理一张图片所需时间来评估检测速度，时间越短，速度越快。
Original: https://blog.csdn.net/qq_45769063/article/details/120008815
Author: 有情怀的机械男
Title: 【深度学习】——性能指标（ROC、MAP、AUC等）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/629991/
转载文章受原作者版权保护。转载请注明原作者出处！