1.背景
之前看到吴恩达举办了一个以数据为中心的比赛，使用统一的模型，选手们通过改良扩展训练数据集以改进训练的效果，很感兴趣。今年有幸找到了中文语言理解测评基准CLUE，有一个nlp方向的类似的任务
与其他任务很多人提交不一样，这个任务很少人关注，希望能有对数据感兴趣的人参与进来吧
代码实现hgliyuhao/little_dinosaur: a database tool for nlp (github.com)
2.什么是noisy label
在数据集中，一些样本的类别被错误的标注，比如猫狗分类集中猫被标注成了狗狗。这些样本被称为 noisy label。
与此相对的我们还经常听到 hard Sample。hard Sample用来描述标注正确但是模型难以学习的样本，比如一只很像猫的狗，虽然难以分辨,但是它的标签是正确的。如果一只猫的标签是狗 那么它就是一个noisy label
3.任务介绍
详细的任务介绍可以去官方的github，做的相当的完整。
全部给出的数据有12000条，里面包含了大量的noisy label。我们的任务就是通过算法手段，找到这些noisy label，并对数据进行增强，让模型学到更多正确的信息。
这里主要介绍置信学习在分类任务中的实践
4.置信学习
[1911.00068] Confident Learning: Estimating Uncertainty in Dataset Labels (arxiv.org)
https://arxiv.org/abs/1911.00068 ;对12000条数据使用多次交叉验证，统计多次预测标签与人工标签不符合的case作为noisy label。因为在训练过程中发现这个数据集噪声非常的大，错误的标注估计有三分之一，意味着在交叉验证时我们的结果正确率也不高,所以定义noisy label的方法也更严格。最后可以找到3000条左右的noisy label。
在进行交叉验证的时候，划分数据集可以按照标签分类的比例划分，保证每个类别的比例在训练集和验证集内都基本一致，会对模型学习有很大的帮助
5.置信学习的瓶颈
- 置信学习的效果会受到原有数据分布的影响。只有在原始数据质量高，数据量大的时候效果才会好。
比如在多分类任务中，类别A和类别B非常相近，但类别A的数量远远大于B的数量 在使用置信学习的时候所有的B样本都会被错误的识别成A，被认为是noisy label。
又比如A样本有100条，其中有90条是错误的，那10条正确的也会被认为是noisy label。
2 .置信学习会受到模型本身的限制
比如在一个预训练模型下某个hard Sample是无法被正确学习的，那么通过置信学习是也是无法解决这个问题的。
3.置信学习的效率偏低
因为要对样本进行多次交叉验证，同时为了保证模型效果，使用预训练模型，置信学习的整体效率会很低，虽然通过算法一定程度上实现了自动化，但是效率也非常的低
4.是否可以扩充到其他任务 比如NER 抽取等任务
6.最后
以数据为中心是非常有意思的一个领域，目前流行的一些方法，比如随机替换，回译，uda，eda，更像面试时候的八股文，真正对我们工作研究有帮助的方法少之又少，希望有相同兴趣的人可以一起探索~
Original: https://blog.csdn.net/HGlyh/article/details/122376360
Author: HGlyh
Title: 置信学习寻找噪音样本(noisy label)在NLP任务中的实践
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/531786/
转载文章受原作者版权保护。转载请注明原作者出处！