先看下简单的情感分类示例 ： 基于prompt learning的情感分类示例代码_znsoft的博客-CSDN博客
NLP 目前为止经历了四个阶段：
-
完全监督机器学习
-
完全监督深度神经网络
-
预训练模型微调阶段： 预训练-> 微调
-
prompt 提示学习阶段： 预训练-> 提示-> 预测
第1,2阶段大家非常熟悉，第3阶段也有所了解，第4阶段是啥？
相对于第3阶段，第4阶段解决的是通过提示方法，修改下游任务来适应预训练模型。
在第三阶段，我们会的招式是 fine-tuning, 讲白了是微调语言模型来适应下游任务的变化 。在第四阶段，我们要反过来图之，采用改造下游任务来适应语言模型。
为什么会有如此想法？ 当我们用GPT 3等巨量模型来进行下游任务时，潜意识中我们还是会想着改造语言模型来适应下游任务。毕竟，用少量语料微调来搞事，成本低见效快。但是，但是，遇到gpt 3这样的海量模型，你还fine tuning得动吗？ 想想你那可怜的显卡。
革命家告诉我们：敌动我不动，敌不动我动。既然 敌人不能动，那就我自己来动，改造自己，适应敌人岂不更好？这就是prompt 提示学习的精华。
具体步骤：
prompt 框架：
术语解释：
PLM ： 预训练模型模型，知识来源,可以是普通 的LM, 也可以是masked LM, 如bert.
template: 模型，提示信息形成的模板
verbalizer: 标签映射器，用于将提示获得的标签词转换成标签，比如将 happy转换为 negative.
可能的研究方向：
在提示学习的任何可人工干预的阶段都可以添加外部知识进行处理。
1 提示模板生成 ,包括自动生成，外部知识扩展
2.性能改进。 提示模板在通常情况下可能是自然语言，但是实际上是可以激发语言模型的所有标志词，可以自动生成与选择。
推荐综述： [综述]鹏飞大神的Pre-train, Prompt, and Predict [1] – 知乎
Original: https://blog.csdn.net/znsoft/article/details/122286859
Author: znsoft
Title: prompt learning 提示学习初步心得及示例 代码
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/528148/
转载文章受原作者版权保护。转载请注明原作者出处！