技巧:
六月三十号补充,uie处理3000字的政策文件要占用12G左右的内存,uie处理一万字的文件时运行巅峰要占用28G左右内存,各位部署时,注意out of memory的错误,对应万字的超长文本目前只有加内存的解决方案。
六月二十七号补充,uie的schema定义时尽量一个schema的长度低于7个字,不然有很大概率,模型识别的效果很差,如图:”执行标准”有一个比较好的抽取效果,”文件执行范围和标准”就完全抽不出来,当然我doccano标注数据的schema也是和不同schema之间保持一致的。
为什么能不固定prompt?
传统Prompt模板各有不同,应对少样本能力不一样
UIE用大量数据固定了prompt的构造方式,就是条件加上抽取标签,所以有不固定的特点
标签其实模型压根都没见过,模型照样能看出来
Prompt技巧
1.与原文越相似越好抽
2.尽量符合常识
3.标注的样本尽量要短
训练技巧:
1.预测可以将batch_size设置为2或者更高来提高预测效率
2.uie-tiny 和base效果差距不大,但性能提高巨大
3.需要负样本的
环境配置:
只需要一个paddlepaddle,安装最新版即可,会自动给你安装许多相关包,
openAI尽量不要装在同一个环境,会改变numpy版本导致paddlepaddle不可用
csdn:
语料标注:
到目前五月二十四号,doccano已经更新到1.7.0版本,导出已经没有标注消失的问题,但是我手头数据有很多重复数据,我没有二次标注,doccano会以标注空的形式继续导出,但我更希望它忽视掉这些数据,不要导出,我依旧采用程序形式导出
csdn:
doccano标注完后,标注消失问题_听雨江南牛的博客-CSDN博客
项目部署和参数调整
最无脑的环节,全程跟着readme一步步向下执行就可以了,
需要改动一下数据路径:
另外需要改动模型保存和加载的路径,
需要改动用6层的uie-tiny模型,还是调用12层的uie-base,uie-tiny和uie-base效果基本没有差别,但是预测效率高很多,建议uie-tiny
必须改动的:
doccano中的:
doccano_file 从doccano导出的数据标注文件
save_dir: 训练数据的保存目录,默认存储在data目录下
finetune中的:
train_path: 训练集文件路径。
dev_path
: 验证集文件路径。
save_dir: 模型存储路径,默认为. / checkpoint
</code></pre>
<pre><code>可选的:
doccano中的:
negative_ratio: 负样本与正样本的比例,该参数只对抽取类型任务有效。使用负样本策略可提升模型效果,负样本数量 = negative_ratio * 正样本数量。
splits: 划分数据集时训练集、验证集所占的比例。默认为[0.8, 0.1, 0.1]
is_shuffle: 是否对数据集进行随机打散,默认为True
finetune中的:
learning_rate
: 学习率,默认为1e - 5。
batch_size: 批处理大小,请结合显存情况进行调整,若出现显存不足,请适当调低这一参数,默认为16。
max_seq_len
: 文本最大切分长度,输入超过最大长度时会对输入文本进行自动切分,默认为512。
num_epochs: 训练轮数,默认为100。
device
: 选用什么设备进行训练,可选cpu或gpu。
model`: 选择模型,程序会基于选择的模型进行模型微调
测试结果在gitee中
不公开,但是94条数据训练完想抽的基本都能抽出来
Original: https://blog.csdn.net/qq_44497995/article/details/124948225
Author: 听雨江南牛
Title: uie模型微调个人总结
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/719119/
转载文章受原作者版权保护。转载请注明原作者出处!