异常值，指的是样本中的一些数值明显偏离其余数值的样本点，所以也称为离群点。
在不同的数据中，鉴别异常值有不同的标准，常规有以下几种：
1、数字超过某个标准值
这是最常用的异常值判断方法之一。主要是看数据中的最大值或最小值，依据专业知识或个人经验，判断是否超过了理论范围值，数据中有没有明显不符合实际情况的错误。
比如，测量成年男性身高（M），出现17.8m这样的数据，显然不符合实际情况。
又或者，如问卷数据使用1-5级量表进行研究，出现-2，-3这类数据，则可能提示为跳转题、空选等。
2、数据大于±3标准差
3σ 原则是在数据服从正态分布的时候用的比较多，在这种情况下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。
在数据处理的时候，按照正态分布的性质，三个标准差以外的数据都可以被看作是错误的数据从而排除掉。
3、格拉布斯(Grubbs)检验法
(1)计算统计量
μ=(X1+X2+…+Xn)/n
s=(∑(Xi-μ)/(n-1))½(i=1,2…n)
Gn=(X(n)-μ)/s
式中μ——样本平均值；
s——样本标准差；
Gn——格拉布斯检验统计量。
(2)确定检出水平α，查表（见GB4883）得出对应n，α的格拉布斯检验临界值G1-α(n)。
(3)当Gn>G1-α(n),则判断Xn为异常值，否则无异常值。
(4)给出剔除水平α’的G1-α'(n),当当Gn>G1-α'(n)时,Xn为高度异常值，应剔除。
异常值的处理分为三种：设为缺失值、填补、不处理。
（1）缺失
设置为Null值；此类处理最简单，而且绝大多数情况下均使用此类处理；直接将异常值删除，相当于没有该异常值。如果异常值不多时建议使用此类方法。
（2）填补
如果异常值非常多时，则可能需要进行填补设置，SPSSAU共提供平均值，中位数，众数和随机数、填补数字0共五种填补方式。
（3）不处理
一些异常值也可能同时包含有用的信息，是否需要剔除，应由分析人员自行判断。
以下场景，无需丢弃异常值：
1：异常是由于业务特定运营动作产生。该异常是由业务部门的特定动作导致的，如果抛弃异常值将导致无法正确反映业务结果。
2：异常检测模型的应用。异常检测模型是针对整体样本中的异常数据进行分析和挖掘，以便找到其中的规律，这种数据应用围绕异常值展开，异常数据本身是目标数据，因此不能直接丢弃。异常检测模型常用于客户异常识别、信用卡欺诈、贷款审批识别、药物变异识别、恶劣气象预测、网络入侵检测、流量作弊检测等。
3：包容异常值的数据建模。如果数据算法和模型对异常值不敏感，那么即使不处理异常值也不会对模型本身造成负面影响。例如在决策树中，异常值本身就可以作为一种分裂节点。
1、异常值带微弱主观性，判定没有固定标准，一些异常值也可能同时包含有用的信息，是否需要剔除，应由分析人员自行判断。
2、异常值一旦处理则无法恢复，建议先备份数据再操作。
Original: https://blog.csdn.net/qq_38147044/article/details/126146136
Author: 一枚小可爱c
Title: 异常值 识别与处理方法
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/638855/
转载文章受原作者版权保护。转载请注明原作者出处！