introduction
-
将对话行为预测看做和响应生成一样的序列生成任务
-
同时训练对话行为和响应的生成模型
-
损失函数使用不确定性损失，自适应调整响应生成和对话行为生成的权重
method
对话行为生成：将对话行为按照领域-意图-槽值三级结构组织，对每个token进行编码
其中Vb是belief state，随后Ha按照如下decoder的步骤生成
此处有疑惑，论文中说按照decoder的步骤生成Ha，但是decoder中没有H的生成公式，只有encoder中有H的生成方式，所以是这里笔误吗，此处存疑，需阅读代码解惑。下为encoder的公式，F为一个transformer的结构：
其次是响应的生成：
首先需要对话行为的指导，也就是一个动态行为注意力层：
接下来生成响应的每个token：
不确定性损失和自适应权重：
Experiments
数据集：MultiWOZ
人类评估结果，我觉得是为了挽救BLEU分数不够高所做的实验
消融实验：
对话行为预测使用序列预测还是分类的消融实验
联合训练和分开训练的消融实验
不确定性损失的消融实验
总而言之，这篇论文的创新点很明显，将标签当做语言序列生成，二者联合训练。这是一个可以学习的点。模型部分不是很难，transformer加上一个注意力，但是损失函数的设计包括实验部分做的很完整，无可指摘，有许多值得学习借鉴的地方。
Original: https://blog.csdn.net/weixin_44763402/article/details/123644947
Author: 我和同桌正在写代码
Title: 论文阅读《Multi-Domain Dialogue Acts and Response Co-Generation》多领域对话行为和响应的协同生成
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/530027/
转载文章受原作者版权保护。转载请注明原作者出处！