文章目录
*
– 1 简介
–
+ 1.1 动机
+ 1.2 创新
– 2 方法
–
+ 2.1 事件抽取转换为结构生成
+ 2.2 Sequence-to-Structure结构：
+ 2.3 模型学习
– 3 实验
1 简介
论文题目：TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction
论文来源：ACL 2021
论文链接：https://arxiv.org/pdf/2106.09232.pdf
代码链接：https://github.com/luyaojie/text2event
1.1 动机
- 目前大部分事件抽取方法使用分解的策略，将复杂的事件结构分解为多个分开的子任务。这种方法有两种缺点：1)每个子任务需要大量的标注数据，经常遭受数据不高效问题。2)手动设计不同子任务的最佳组合结构具有挑战性。
1.2 创新
- 提出了一个事件抽取新的范式：sequence-to-structure generation,以端到端的方式直接从文本中抽取事件。
- 提出了一个sequence-to-structure结构，在推理期间(对于事件知识)使用约束的解码算法，使用课程学习算法进行模型学习。
2 方法
2.1 事件抽取转换为结构生成
将事件抽取转换为结构生成，线性的事件表示应该有如下三个特点:
- 能够将文本中的多个事件记录表达为一个表达式；
- 确定性的方式可逆地转换为事件记录
- 类似于一般文本生成任务的token序列，以便可以轻松利用和转移文本生成模型。
本篇论文提出的转换方法如下图所示，首先转换为树结构(树的根节点为事件类型，叶子结点为原始文本)，然后通过深度优先搜索转换为线性的事件表示(括号为分隔符)。
; 2.2 Sequence-to-Structure结构：
使用T5预训练模型，基于transformer的编码-解码结构，解码开始和结束的标识符为< bos >和< eos >，公式如下：
贪恋解码算法不能保证生成有效的事件结构，本文使用一种基于字典树的约束解码算法，将解码过程表示为字典树搜索的过程，基于当前生成状态选择不同的候选字典集(事件和论元类型、原始文本、括号)，如下图：
2.3 模型学习
由于输出中包含很多括号，不同于text-to-text生成模型，容易误导学习过程，因此使用课程学习(curriculum learning)的方法，首先训练PLMs在简单事件子结构任务上(label,span)，以至于不会在语义的分隔符(括号)上过拟合，然后训练在全部的结构生成任务。loss函数如下图(数据集表示为D = { ( x 1 , y 1 ) , . . . , ( x ∣ D ∣ , y ∣ D ∣ ) } D={(x_1,y_1),…,(x_{|D|},y_{|D|})}D ={(x 1 ,y 1 ),…,(x ∣D ∣,y ∣D ∣)},每一个实例是一个
; 3 实验
数据集为ACE05-EN、ACE05-EN+(进一步考虑了代词角色和多token的事件触发词)、ERE-EN。在ACE05-EN的实验结果如下图：
在ACE05-EN+和ERE-EN的实验结果如下图：
迁移学习下的表现：
消融实验：
Original: https://blog.csdn.net/o11oo11o/article/details/121793071
Author: hlee-top
Title: 论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/547881/
转载文章受原作者版权保护。转载请注明原作者出处！