- Exploiting cloze questions for few shot text classification and
natural language inference. github 该论文提出了PET的概念，提供了一种半监督学习方式，在低资源场景下成功超过了监督学习模型的结果；该论文的主要贡献是：基于 手动设计的离散的prompt，针对半监督任务，提出了一种交替训练+蒸馏学习的方法； - Multimodal Few-Shot Learning with Frozen Language Models
该论文对多模态prompt模型进行了研究。该论文采用 连续prompt的思路，通过一个图像编码器将图像转换为连续的嵌入序列，作为一种prompt，与文本信息一起送入语言模型中，训练图像文本生成任务。为了将LM中的知识迁移到多模态领域，在训练时选择冻结LM的参数，仅优化图像编码器有关参数。视觉前缀的构造方式：将视觉编码器的输出映射为D*n的矩阵，D为嵌入维度，n可以看作token的个数。训练时的输入是形如（image, text）的一堆pair，训练时统一使用Conceptual Captions作为训练集。 - Making Pre-trained Language Models Better Few-shot Learners
一种基于语言模型的小样本微调方法（LM-BFF）；主要分为两个部分（1）自动化生成prompt和answer（2）将样本示例以上下文的形式添加到每个输入中；
1、自动化选择answer
自动化构建answer，即固定模板、选择最佳的answer映射关系M，使得在验证集的分类准确率最高。
2、自动化选择prompt
自动化构建prompt，即固定answer构建prompt。LM-BFF 使用T5模型生成prompt。
Original: https://blog.csdn.net/weixin_40683960/article/details/122928905
Author: 开心的火龙果
Title: prompt综述论文阅读：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural La
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/547969/
转载文章受原作者版权保护。转载请注明原作者出处！