《Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering》
来源：EMNLP2020
代码链接：https://github.com/INK-USC/MHGRN
重点：结合基于路径的关系推理模型和GNN，使多跳关系推理具有可解释性和可扩展性。
数据集：CommonsenseQA和OpenbookQA
摘要：
虽然fine-tuning的预训练语言模型（PTLMs）在一系列问答（QA）任务上取得了很好的效果，但在需要外部知识来推断正确答案的情况下，这些方法仍然会有一些缺点。现有的利用外部知识（如知识图谱）扩充QA模型的工作要么难以有效地建模多跳关系，要么缺乏对模型预测原理的理解。本文提出了一种新的知识感知方法，为PTLMs配置了一个多跳关系推理模块，称为multi-hop graph relation networks（MHGRN）。它对从外部知识图谱中提取的子图执行多跳、多关系推理。该推理模块将基于路径的推理方法与图神经网络相结合，具有更好的可解释性和可扩展性。我们还实证地展示了它在CommonsenseQA和OpenbookQA数据集上的有效性和可扩展性，并通过案例分析解释了它的行为。在官方的CommonsenseQA测试集上，MHGRN的准确率达到了SOTA 76.5%。
Introduction
我们知道问答根据数据源格式的不同，包含基于结构化数据的问答（知识图谱），和基于自由文本的问答（阅读理解）。最近有很多问答任务不仅要求问题和上下文的阅读理解，也在结构化知识库上进行实体（概念）和之间关系上的关系推理。比如下图：
诸如”孩子很可能出现在教室里”这样的背景知识可能并不容易包含在问题中，但对人类来说是常识。
尽管大规模预训练语言模型（PTLMs）取得了成功，但是在研究关系推理的数据集上，微调模型与人类表现之间仍然存在很大的性能差距。这些模型也无法提供可解释的预测，因为它们的预训练语料库中的知识不是明确地陈述出来的，而是隐式学习的。因此，很难恢复推理过程中使用的知识。
这导致许多工作利用知识图谱来提高机器推理能力，从而推断出潜在关系来回答此类问题。知识图谱将实体间的关联知识表示为多个关系边，从而使模型更容易获取关联知识，提高模型的推理能力。此外，结合知识图谱带来了可解释的和可信的预测能力，因为知识现在已经明确说明了。例如，在图1中，关系路径（CHILD→AtLocation→CLASSROOM →Synonym→SCHOOLROOM）自然地为答案SCHOOLROOM提供证据。
利用知识图谱的一个简单方法是直接建模这些关系路径。KagNet和MH-PGM从知识图谱中提取关系路径，并用序列模型（sequence models）对其进行编码，从而使多跳关系得到显式建模。在这些关系路径上应用注意机制可以进一步提供良好的解释性。然而，这些模型很难扩展，因为图中可能的路径数是（1）多项式级别——节点数（2）指数级别——路径长度（见图2）。因此，有些研究只使用一跳路径，即三元组，来平衡可伸缩性和推理能力。
相比之下，图神经网络（GNN）通过其消息传递范式具有更好的可伸缩性，但通常缺乏透明度。最常用的GNN变体，图卷积网络（GCN），通过聚合每个节点的邻居信息来实现消息传递，但忽略了关系类型（常用于边类型一致的无向图）。RGCN通过执行关系特定的聚合来扩展GCN，使其适用于编码多关系图。然而，这些模型没有区分不同邻居或关系类型的重要性，因此无法为模型行为解释提供明确的关系路径。
本文提出了一种新的图编码架构——多跳图关系网络（MHGRN），它 结合了基于路径的模型和GNN的优点。我们的模型通过保留消息传递范式来保持GNNs的 可伸缩性。通过将结构化的关系注意机制引入到消息传递路径的建模中，它还具有基于路径的模型的 可解释性。我们的主要动机是在单个层中执行多跳消息传递，以允许每个节点直接连接其多跳邻居，从而实现MHGRN的多跳关系推理。我们在表1中概述了knowledge-aware QA模型的优点，并将我们的MHGRN与有代表性的GNN和基于路径的方法进行了比较。
本文主要工作如下：1）提出了一种适合多跳关系推理的模型体系结构MHGRN。我们的模型能够显式地大规模地建模多跳关系路径。2） 我们提出了结构化的关系注意机制，用于多跳推理路径的高效、可解释的建模，以及它的训练和推理算法。3） 我们在两个问答数据集上进行了大量的实验，结果表明，与知识无关（knowledge-agnostic）的预训练语言模型相比，我们的模型有了显著的改进，并且在很大程度上优于其他的图编码方法。
Problem Formulation and Overview
本文把任务的范围限制在 选择题问答任务上，它可以很容易地推广到其他知识指导的任务（如自然语言推理）。图3展示了知识感知QA的整体架构。形式上，给定一个外部知识图（KG）作为知识源和一个问题q，我们的目标是从一组给定的选择中找出正确的答案。本文将这个问题转化为测量问题q和每个答案选择a∈C之间的合理性得分，然后选择合理性得分最高的答案。
整合图encoder和文本encoder的输出来生成每个答案选项的合理性得分。
算法概述
（1）把问题q和答案选项a拼接得到 s；
（2）以s为指导，从KG中抽取一个关联子图；
（3）这个多关系子图定义为G = (V , E , φ)，V代表KG中只和s相关的实体节点的子集；E ⊆V ×R×V；映射函数 φ(i) ∶ V →T = {Eq,Ea,Eo}，节点i作为输入，如果节点i是在q中mention到的实体，输出Eq，是在答案a中mention的实体，输出Ea，否则就输出Eo。
（4）最终 文本encoder把s给编码成 s，图编码器把G编码成 g，再把 s和 g拼接起来，计算合理性得分。
Background: Multi-Relational Graph Encoding Methods
我们将s的编码留给预先训练好的语言模型，这些模型已经显示出强大的文本表示能力，而我们关注的挑战是编码图G以捕捉实体之间的潜在关系。目前的多关系图编码方法主要分为两类：图神经网络和基于路径的模型。图神经网络通过在节点之间传递消息来编码结构化信息，直接在图结构上操作，而基于路径的方法首先将图分解为路径，然后在所有路径上池化特征。
两类方法的简单介绍见论文，介绍简单易懂。GNN-based models呢，虽然已经被证明具有良好的可伸缩性，但它们的推理是在node-level完成的，因此它们与path-level推理链建模不兼容，路径级推理链是需要关系推理的QA任务的关键组件。此属性还妨碍在路径级别模型决策的可解释性。GNN得到整张图表示：
除了用GNNs直接对图建模外，还可以将图看作连接实体对的一组关系路径，path-based models。为了进一步使关系网络（RN）具备非退化路径建模的能力，KagNet采用LSTM对连接长度不超过K的问题实体和答案实体的所有路径进行编码，然后通过注意机制聚合所有路径嵌入：
Proposed Method: Multi-Hop Graph Relation Networks (MHGRN)
本节提出了一种结合GNN和RN的新型图神经网络结构，用于编码多关系图以增强文本理解。MHGRN继承了基于路径的模型的路径推理和解释能力，同时通过消息传递的形式保持了GNN良好的可扩展性。
Original: https://blog.csdn.net/qq_39466623/article/details/110448625
Author: 天才少女101
Title: 论文阅读《Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering》
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/558542/
转载文章受原作者版权保护。转载请注明原作者出处！