多分类问题的混淆矩阵

混淆矩阵、查准率P和召回率R

参加夏令营时候遇到过混淆矩阵、查准率和召回率的计算方法的问题,今天看书又回顾到这个概念,个人觉得对这个概念还是需要有非常清醒的认识的,做个记录。

二分类的混淆矩阵

假设正例为我有病,那反例就是我没病。
TP就是,我有病,判断有病。
FN就是,我有病,但是没判断出来,觉得我没病。
FP是,我没病,但是判断我有病。
TN是,我没病,判断的也是我没病,判断的是正确的。

真实情况\预测结果正例反例
正例

TPFN
反例

FPTN

查准率P和召回率R

P = T P T P + F P P=\frac{TP}{TP+FP}P =T P +F P T P ​ R = T P T P + F N R=\frac{TP}{TP+FN}R =T P +F N T P ​
这样说来,P就是我有病且判断对了,这在判断的结果都是有病的概率,那么1-P叫虚惊一场。
但是R就是,我有病且判断对了,占,实际情况我就是有病,的概率,那么1-R就是我有病但没看出来,耽误事了,这个值当然要越小越好,这种情况下R大是好事。这个知识点在机器翻译课上老师也强调过。

那么比如推荐系统中P高是目标,这样可以给用户提供更多有趣的信息;查找罪犯判断疾病中R高是目标,保证准确性,召回率很重要。

查准率P和召回率R是一组矛盾的度量。一般来说,查准率高时,召回率就会偏低,反之亦然。

12月1日补充:一个很棒的知乎例子

多分类问题的混淆矩阵
多分类问题的混淆矩阵

; 综合考量: F 1 F_{1}F 1 ​

F 1 = 2 ⋅ P ⋅ R P + R = 2 ⋅ T P m + T P − T N F_{1}=\frac{2·P·R}{P+R}=\frac{2·TP}{m+TP-TN}F 1 ​=P +R 2 ⋅P ⋅R ​=m +T P −T N 2 ⋅T P ​
整理得
F 1 = 2 1 P + 1 R F_{1}=\frac{2}{\frac{1}{P}+\frac{1}{R}}F 1 ​=P 1 ​+R 1 ​2 ​
度量可以看成是P和R的调和平均数,将F 1 F_{1}F 1 ​度量推广到一般形式F β F_{\beta}F β​,能度量出P和R之间的不同偏好。
F β = ( 1 + β 2 ) ⋅ P ⋅ R β 2 ⋅ P + R F_{{\beta}}=\frac{(1+\beta^2)·P·R}{\beta^2·P+R}F β​=β2 ⋅P +R (1 +β2 )⋅P ⋅R ​
β {\beta}β(β {\beta}β>0)能衡量P和R之间的相对重要程度,整理公式得
F β = 1 + β 2 β 2 R + 1 P F_{{\beta}}=\frac{1+\beta^2}{\frac{\beta^2}{R}+\frac{1}{P}}F β​=R β2 ​+P 1 ​1 +β2 ​
F β F_{\beta}F β​可以看成是P和R的加权调和平均,β {\beta}β=1,F β F_{\beta}F β​退化成标准的F 1 F_{1}F 1 ​,即P和R同等重要;β {\beta}β>1时,R有更大影响;β {\beta}β

Original: https://blog.csdn.net/weixin_44677208/article/details/120773401
Author: 菜的哇哇大哭
Title: 多分类问题的混淆矩阵

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/664303/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球