- 在验证集上会得到COCO的评价列表
- 在目标检测上常用的两个公开数据集pascal voc和coco
- 针对这两个数据集都有一个评判标准
- 目标检测与图像分类明显差距是很大的
- 在图像分类当中，我们通常是通过统计在验证集当中，分类正确的个数除以验证集的总样本数，就能得到准确率
- 在目标检测当中（如下图），绿色的框是人工标注的GT-box（Ground Truth box），红色的框是网络预测的bbox（bounding box）
- 我们通过计算预测边界框与人工标注的正确边界框IoU
- 检测正确从三个方面
- 第一个方面：判断IoU是否大于指定阈值
- 第二个方面：判断类别是否正确
-
第三个方面：判断confidence（置信度）是否大于指定阈值
-
TP（True Positive）预测正确的目标边界框个数：IoU>0.5的检测框数量（同一个Ground Truth只计算一次），即当预测边界框与GT box的IoU值大于0.5，就认为匹配成功，如下图cat 0.9的红色框
- FP（False Positive）假阳性，不是目标却认为是目标：IoU
- FN（False Negative）漏检的目标个数：没有检测到的GT的数量，如右下角cat绿色框的猫，并没有检测到
- Precision：TP/（TP+FP）模型预测的所有目标中，预测正确的比例——查准率
- Recall：TP/（TP+FN）所有真实目标中，模型预测正确的目标比例——查全率
- AP：P-R曲线下面积
- P-R曲线：Precision-Recall曲线
- mAP：mean Average Precision，即各类别AP的平均值（一个类别对应一个AP，多个类别取平均值就是mAP）
- 如下图，num_ob是指人工在图像上标注的真实目标边界框有7个
- 我们规定Confidence在0.66及以上的边界框就是标注成功的，下面左侧表中的OB中有一个是False，也就是FP（假阳性的），所以FN就是7-4=3
- 由此算出下图右表
- 对于Recall，如下表中，0.57重复了，所以就删除两个（保留Precision值最大的）
- 下图右侧图中，点外面有方框的就是Recall对应的5个点
- 蓝色部分就是AP的面积
- 下图最下方是计算公式
- 对于下式第一项，0.1是从0.14开始往下对对应的Precision最大的值，例如到最后一项，就是×0.71
- 每一项第一个乘数都是当前Recall值—上一个Recall值
- 最后的结果0.6694就是对应猫这个目标AP的值
- 使用同样方法，可以计算其他类别的AP值，最后算出所有类别AP的均值，得到mAP
3.1 Average Precision（AP）
- 如下图A P I o U = 0.50 AP^{IoU=0.50}A P I o U =0.50，就是以IoU的阈值取0.5的时候，计算的AP的数值，这个数值也就是PASCAL VOC数据集所提供的评价指标
- 在COCO的评价指标当中主要评价指标就是第一行A P AP A P，意思是指在IoU从0.5-0.95，间隔为0.05，一共10个IoU上，分别去计算每个IoU上对应的mAP，再将10个mAP取均值得到COCO数据集中的AP
- 这个AP也是COCO数据集中最主要的一个评价指标
- 注意，下图虽然写的是AP，但实际上是mAP，因为这里结合上下文，很明确就知道这里的AP就是mAP，所以就简写成AP
- 下图还有一个A P I o U = 0.75 AP^{IoU=0.75}A P I o U =0.75，也就是当IoU阈值取0.75时对应的mAP值，这是一个更加严格的标准，因为IoU值设置的越大，也就意味着目标边界框与真实边界框重合度越高
3.2 AP Across Scales
- A P s m a l l AP^{small}A P s ma ll即A P AP A P针对小面积的，目标的像素面积< 3 2 2
- A P m e d i u m AP^{medium}A P m e d i u m即A P AP A P针对中等面积的,目标的像素面积> 3 2 2 并且 < 9 6 2 >32^2并且
- A P l a r g e AP^{large}A P l a r g e即A P AP A P针对大面积的，目标的像素面积> 9 6 2 >96^2 >9 6 2
- 目标检测网络对于不同尺度的目标检测效果不同，比如应用场景都是相对较小的目标，那么就会更关注A P s m a l l AP^{small}A P s ma ll的值
3.3 Average Recall（AR）
- A R m a x = 1 AR^{max=1}A R ma x =1，即每张图片最多预测1个目标
- A R m a x = 10 AR^{max=10}A R ma x =10，即每张图片最多预测10个目标
- A R m a x = 100 AR^{max=100}A R ma x =100，即每张图片最多预测100个目标
3.4 AR Across Scales
- A R s m a l l AR^{small}A R s ma ll即A R AR A R针对小面积的，目标的像素面积< 3 2 2
- A R m e d i u m AR^{medium}A R m e d i u m即A R AR A R针对中等面积的,目标的像素面积> 3 2 2 并且 < 9 6 2 >32^2并且
-
A R l a r g e AR^{large}A R l a r g e即A R AR A R针对大面积的，目标的像素面积> 9 6 2 >96^2 >9 6 2
-
第一行是COCO数据集的评价指标，是要看的
- 第二行是Pascal VOC的评价指标，也是要看的
- 如果对精度要求比较高，那么第三行也要看
- 接下来就是根据所检测目标的尺度来看相应的AP
- 在AR值中，主要关注检测目标取10和取100时候的值，如果这两个值相差比较小，那么我们就可以减少目标检测的个数，这样也能提供目标检测的效率
Original: https://blog.csdn.net/m0_51797359/article/details/126497692
Author: 没有难学的知识
Title: 目标检测结果数据分析
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/680682/
转载文章受原作者版权保护。转载请注明原作者出处！