说起fine-tuning，大家再熟悉不过了，NLP和CV领域基本都是各种预训练模型了。
使用预训练模型最重要的一步就是fine-tuning，因为下游任务是多种多样的，所以每种下游任务都要有个副本，并且finetune会改变所有的参数。这篇论文
问题定义
生成式任务就是给个上下文x，然后输出一个序列的tokens.这篇论文就聚焦两个任务，一个是table-to-text，x就是一个表格的数据，y就是文本描述.在总结任务中，x就是一篇文章，y就是一小段总结。
假设我们有自回归模型GPT(transformer的结构，12层)，让z = [x;y]，聚合x和y，Xidx是x的索引，Yidx是y的索引，hi(j)是transformer第j步的输出，hi = [hi(1),…,hi(n)]，生成hi的输入是zi和h
Original: https://blog.csdn.net/m0_52122378/article/details/122340652
Author: 炼丹笔记
Title: No Fine-Tuning, Only Prefix-Tuning
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/547949/
转载文章受原作者版权保护。转载请注明原作者出处！