补充一下模型迁移的相关知识:
使用微调技术,也叫做参数迁移
不同的情况:
(1)数据集小,并且与原数据集差别不大
因为目标数据集与原数据集的数据分布差异不大,使用微调技术,只需要将输出层改为特定任务下的输出层即可
(2)数据集小,相似程度不高
这种情况下,”冻结”与训练模型的前”k”个层的权重,然后重新训练后面的”n-k”个层,最后一层根据输出具体确定
因为相似度不高所以需要重新训练,而因为是小数据集,所以”冻结”前k个层来防止过拟合
(3)数据集大,相似程度不高
采用预训练模型不是很高效率,需要将权值进行初始化从头开始训练,将输出层改为特定任务下的输出层
(4)数据量大,相似程度高
理想情况,进行保持原有的 结构与权值2参数,从头开始训练
Original: https://blog.csdn.net/Hhsh672772/article/details/124508948
Author: 捣蛋鬼233
Title: 计算机视觉深度神经网络总结(目标检测,分类、特征提取)
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/681542/
转载文章受原作者版权保护。转载请注明原作者出处!