目录
什么是小样本学习，4/8/16
为什么小样本学习重要：跟人类比一样模型本身的能力体现、降低数据标注成本（一条标注1元，找5个众包要5元）
降本增效
发展历程
分类
预训练时代
标准微调
标准微调，在小样本效果差，终端的层级今天调整，参数量远远大于数据量，过拟合了
微调新范式，prompt tuning,把模型本身的预训练这个老师的知识潜力更大的发挥出来
PET基于人工的模板，把分类任务转换成完形填空任务
效果提升
PET的优点，释放潜力，无需随机化参数避免过拟合
缺点，不同模板差异大，模板无法表示全局最优化
P-Tuning,连续空间科学系模板，特殊字符来替代，可学习向量
下过对比，自动学到最优的模板
优点
缺点，多分类任务，当类别数大的时候，空间比较大，难度比较大
缺点，蕴含任务不符合自然语言处理习惯，因为预训练的数据都是正常的逻辑语言数据
EFL，统一转换成二分类任务
效果提升，任务更简单
优点
负样本采样数量，对效果影响大，一般负样本数是类别的数量一半的时候效果最好
增加了预测复杂度
PaddleNLP特色，显式增强和隐式增强
R-drop,输入数据不变，通过模型的drop得到不同的输出表示，不同的表示应该更近
效果
榜单效果
提升效果
简单的内置
参加竞赛
不同范式在同一个任务的对比，CNN-LSTM-BERT-Promt
总结
Original: https://blog.csdn.net/qq_15821487/article/details/124080643
Author: 愚昧之山绝望之谷开悟之坡
Title: 自然语言处理中的小样本学习
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/530057/
转载文章受原作者版权保护。转载请注明原作者出处！