介绍
Prabhumoye 等人[1]对可控的文本生成技术进行了综述，神经控制文本生成是一个重要的研究领域，因其应用的广泛性而备受关注。这篇论文中提供了一个 新的模式的流水线生成过程，把它分为五个模块，包括外部输入控制、序列输入控制、生成器控制、输出控制及训练控制。
; ① 外部输入:
a) 引入外部可控向量 s 作为输入。引入的方法有:
1.concatenation: h0 = [he; s];
2. linear transform: h0 = tanh(w1 he + w2 s + b)。其中he为 encoder 输出隐层向量，h0为 decoder 的输入。
论文中提到 linear transform 效果要比 concatenation 好。
b) Stochastic changes: Variational auto-encoder。VAE 用于可以将控制属性表示为隐变量 z，比如 style，topics，strategies 等; 但很难用于基于 content 的任务，如: 具体的信息，keywords，或者 entities。
c) Decompose: he解构为多种 subspaces。Decompose 方法需要输入 x 中包含控制属性的信息; 不适用与外部提供的控制属性。
d) External Feedback: adversarial loss。
② 序列输入
在 decoder 的每个时间步加入控制向量 s。不过这样效果不如对外部输入进行操作。
③ 生成器
对 RNN 的变体，和 attention 结合。Transformer-based 模型， Pre-trained model， GPT2，BEAR， PPLM。
④ 输出
a) Attention
b) Adversarial loss
c) Linear transform
⑤ 训练目标
a) General loss: Cross entropy loss; Unlikelihood loss; Decoding strategies
b) KL divergence
c) Classifier loss
d) Task specific loss: Strategy loss; Coverage loss; Structure loss
很多工作是将上述几种方法结合来控制文本生成。
参考文献：
[1] Prabhumoye S, Black A W, Salakhutdinov R. Exploring Controllable Text Generation Techniques[J]. arXiv preprint arXiv:2005.01822, 2020.
Original: https://blog.csdn.net/weixin_43729393/article/details/123817014
Author: victorup
Title: 可控文本生成技术
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/532177/
转载文章受原作者版权保护。转载请注明原作者出处！