本回来自清华大学计算机系的硕士生周界，将和大家聊聊NLP领域另一热门话题——基于图神经网络的事实验证。
一、图神经网络
图这种数据结构在我们生活中可以说无处不在，交通网络、蛋白质、社交网络、知识图谱等等都可以非常方便地用图来表示。而图神经网络 (Graph Neural Network，GNN) 是一种基于连接主义的模型，它通过图的节点之间的消息传递来捕捉图的依赖关系。图神经网络希望通过属性图上的消息传递和聚合来学习更好的节点表示，目前图神经网络的方法有很多，不同的方法使用不同的消息聚合与节点更新机制。比较经典的图神经网络有GCN(Graph Convolutional Network)、GraphSAGE(Graph SAmple and aggreGatE)，使用注意力机制考虑不同节点重要性的GAT(Graph Attention Network)等。
二、事实验证
互联网的快速发展，将我们置身于一个信息大爆炸的时代。可惜的是除了正确的信息之外，互联网上还存在大量的虚假信息，譬如假新闻、谣言、政治欺骗等等。这就需要对互联网信息有一个判断，但人工检验不仅费时费力，而且成本较高。那么能否设计一种自动的事实验证系统进行辅助呢？所谓事实验证(Fact verification, FV)就是指给出一个声明 (Claim)，要求系统从大规模文本语料库 (如Wikipedia) 中抽取相关句子作为证据 (Evidence)，并利用这些证据验证声明的真实性。系统需要给出证据对声明的三类判断，支持 (SUPPORTED)、反对 (REFUTED)或信息不足 (NOT ENOUGH INFO)，如图一的两个例子所示。
图一 事实验证例子
除给出正确分类标签外，事实验证系统还需返回抽取到的证据集。已有的事实验证系统通常使用三级流水线结构去完成任务，首先进行文档抽取，之后进入证据抽取环节，最后是声明验证。文档抽取的思路有三种，一是实体链接，二是成分分析加关键词匹配，三是成分分析加在线检索。而证据抽取可以通过关键词匹配或有监督分类(使用模型如ESIM(Enhanced Sequential Inference Model)计算句子间相似度得分)两种方式来实现。声明验证大多基于自然推断领域(Natural Language Inference,NLI)的模型，例如DAM(Deep Attention Matching Network)、ESIM。现有的声明验证的模型都使用了较简单的方式处理多条证据(将证据连接或只考虑单独的证据-声明对)。
三、基于图神经网络的事实验证
在了解了图神经网络和事实验证之后，我们自然会产生一个问题，如何将图神经网络应用到事实验证任务中，从而提升任务的效果呢？这就是本次直播的主要内容——基于图神经网络的事实验证。在本次报告中，周界主要介绍了两篇相关工作，基于证据图聚合与推理的事实验证GEAR(Graph-based Evidence Aggregating and Reasoning)和更细粒度的事实验证KGAT(Fine-grained Fact Verification with Kernel Graph Attention Network)。这两个工作分别从句子级别和词级别使用图神经网络更好地建模证据和声明之间的关系，下面小编将根据周界的分享对它们进行一个简单的阐述。
四、GEAR：多证据推理
上述相关工作的讨论中，我们可以有以下几点发现，首先用于文本验证的语料库是很大的，而证据抽取阶段不能采用太复杂的模型，否则会造成运行效率低下。其次与ESIM等模型相比，BERT具有更强的表示能力。同时观察数据会发现一些声明需要综合利用多条证据进行推理，但现有的方法缺少相应的模块。
基于这些发现，GEAR提出了针对性的解决思路。一是选取Recall高的证据抽取模型，二是使用BERT(Bidirectional Encoder Representation from Transformers)代替ESIM进行声明验证，三是构建证据图，使用GNN进行证据聚合与推理。图二是GEAR的模型框架表示，主要包括基于BERT的句子编码器、基于GNN的证据推理器、多条证据聚合器三个部分。
图二 GEAR模型框架
基于BERT的句子编码器模块，研究者使用BERT-base作为句子编码器。对于声明，将其直接送入BERT。而对于证据，则将(声明，证据)对送入BERT。同时，使用最终层的[CLS]标签的向量作为句子表示。基于GNN的证据推理器部分，作者通过构建全连接的证据图提出了证据推理网络ERNet(Evidence Reasoning Network)，以此机制来鼓励证据节点之间的信息传递与聚合。在基于GNN的证据推理环节，模型使用BERT得到的表示作为初始值，经过T步消息传递后，得到最终的节点表示。得到多个节点的表示后，再通过多条证据聚合器将节点聚合起来得到最终的表示向量。常用的聚合器，有注意力聚合器、平均值聚合器、最大值聚合器三种。
GEAR的基线方法来源大致分为两类。一类来自FEVER竞赛前三名的系统比如Athene、UCL MRG、UNC NLP，另一类是基于微调BERT的系统包括BERT-Concat以及BERT-Pair。BERT-Concat是将所有证据连成一句话，使用BERT对(声明，证据)对进行判定。而BERT-Pair则是单独验证每一个(声明，证据)对，之后使用投票等简单机制给出标签。除此之外，研究人员还构建了两个新的数据集来验证ERNet的实际效果。通过困难验证集筛选出需要多条证据验证的声明，通过正确证据集将正确标注的证据作为模型输入。
五、KGAT：更细粒度的事实验证
在GEAR之后，研究人员又得到了一些新的观察。他们发现句子级别的表示能力有限，很难考虑到声明中仅仅几个词差异造成的结果不同。之前提到的聚合器虽然已经有了很大改进，但是证据聚合的方式还是较为简单。基于这两个观察，又提出了两点新的改进措施。一是使用Edge Kernel考虑词级别的信息传递与聚合，二是使用Node Kernel机制进行证据的选择。也就是说，Edge Kernel负责更细粒度的证据推理，而Node Kernel负责更精确的节点选择。通过图三Edge Kernel和Node Kernel的作用示意图，我们可以更直观地了解这一过程。
图三 KGAT模型框架
KGAT工作的动机是希望学到词与词之间的注意力，在研究过程中参考了信息检索领域的Kernel机制。图四是Kernel机制的示意图，展示了其运作过程。
图四 Kernel机制
Kernel机制首先会计算单词间相似度，之后会通过Kernel机制得到特征，最后进行特征的聚合。在此基础上，Edge Kernel大致分为三个步骤。步骤一是计算节点级注意力，步骤二计算句子级注意力，步骤三得出单节点标签预测。Node Kernel采用了类似于Edge Kernel的方式计算声明和证据间的匹配特征，并使用特征预测选择该节点的概率。
六、总结
总结本次报告主要介绍的两个工作，我们知道GEAR注重于句子级别注意力，出发点在于多条证据的推理与聚合。而KGAT则关注词级别注意力。虽然对比之前的研究成果，GEAR和KGAT在事实验证任务中都表现出了其优越性，有了一个很好的提升效果，但是未来还是有很多可以继续研究的方向，比如是否可以采用对抗样本，比如能否运用半结构化知识(比如表格)进行事实验证，进而提出使用结构化的知识进行事实验证。正如周界所说这些都是很有趣的研究方向，值得继续探索。
Original: https://blog.csdn.net/weixin_39961522/article/details/111381272
Author: weixin_39961522
Title: 伤感网络验证系统_清华大学周界：当图神经网络遇上事实验证
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/558038/
转载文章受原作者版权保护。转载请注明原作者出处！