文章目录
Rnnlogic:在知识图谱上学习进行推理的逻辑规则
简要信息
序号属性值1模型名称RNNlogic2所属领域知识图谱3研究内容知识图谱推理4核心内容推理的逻辑规则5GitHub源码
RNNlogic
6论文PDF
learning logic rules for reasoning on knowledge graphs
7发表年份2021
摘要
本文研究了知识图推理逻辑规则的学习。 逻辑规则在用于预测时提供了可解释的说明，并能够推广到其他任务，因此对学习至关重要。现有的方法要么存在搜索空间大(如神经逻辑编程)的问题，要么存在奖励稀疏(如基于强化学习的技术)的优化效果不佳的问题。为了解决这些局限性，本文提出了一个名为RNNLogic的概率模型。RNNLogic将逻辑规则作为潜在变量，同时用逻辑规则训练规则生成器和推理预测器。我们开发了一个基于EM的优化算法。在每次迭代中，对推理预测器进行更新，以探索生成的逻辑规则进行推理。然后在E-step中，利用规则生成器和推理预测器，通过后验推理从所有生成的规则中选择一组高质量的规则;在M-step中，规则生成器用在E-step中选择的规则进行更新。在四个数据集上的实验证明了RNNLogic的有效性。
1 介绍
知识图是真实世界事实的集合，在各种应用中都很有用。每个事实通常被指定为一个三元组(h, r, t)或等价的r(h, t)，这意味着实体h与实体t有关系。例如，比尔·盖茨是微软的联合创始人。由于不可能收集到所有的事实，所以知识图是不完整的。因此，知识图的一个基本问题就是利用已有的事实进行推理来预测缺失的事实，即知识图推理。
本文研究了学习推理规则用于KG推理。例如，可以提取一个规则∀X, Y, Z爱好(X, Y)←朋友(X, Z)∧爱好(Z, Y)，意思是如果Z是X的朋友，Z有爱好Y，那么Y也有可能是X的爱好，然后可以用这个规则来推断人的新爱好。这种逻辑规则能够提高推理的可解释性和精度(Qu & Tang, 2019;Zhang et al.， 2020)。此外，逻辑规则还可以重用和一般化到其他领域和数据(Teru & Hamilton, 2020)。然而，由于搜索空间大，推断出高质量的逻辑规则用于知识图的推理是一项具有挑战性的任务。
事实上，人们已经提出了各种各样的方法来从知识图中学习逻辑规则。大多数传统方法，如路径排序(Lao & Cohen, 2010)和马尔可夫逻辑网络(Richardson & Domingos, 2006)，都将图上的关系路径列举为候选逻辑规则，然后学习每个规则的权重，作为规则质量的评估。最近也有一些基于神经逻辑编程(Y ang et al.， 2017)和神经定理证明(Rockt¨aschel & Riedel, 2017)的方法，它们能够以可微的方式同时学习逻辑规则及其权重。虽然这些方法在经验预测上是有效的，但它们的搜索空间是指数级的，很难识别出高质量的逻辑规则。此外，最近的一些工作(Xiong et al.， 2017)将问题制定为一个序列决策过程，并使用强化学习来搜索逻辑规则，这大大降低了搜索的复杂性。然而，由于训练中的动作空间大、奖励稀疏，这些方法的性能还不尽如人意。
在本文中，我们提出了一种原则性的概率方法RNNLogic，它克服了上述局限性。我们的方法由一个规则生成器和一个带有逻辑规则的推理预测器组成，它们同时被训练以相互增强。规则生成器提供逻辑规则供推理预测器进行推理，而推理预测器提供有效的奖励来训练规则生成器，大大减少了搜索空间。具体地说，对于每个问答对，例如q = (h, r， ?)和a = t，我们在查询和现有知识图G的条件下对答案的概率进行建模，即p(a|G, q)，其中一组逻辑规则z1被视为潜在变量。规则生成器为每个查询的逻辑规则定义一个先验分布，即p(z|q)，该分布由一个循环神经网络参数化。推理预测器以逻辑规则和已有的知识图为条件，计算答案的可能性，即G (p(a|G, q, z))。在每次训练迭代中，我们首先从规则生成器中采样一些逻辑规则，并进一步更新推理预测器，以尝试这些规则进行预测。然后使用EM算法(Neal & Hinton, 1998)对规则生成器进行优化。在E-step中，根据后验概率从所有生成的规则中选择一组高质量的逻辑规则。在M-step中更新规则生成器，模仿E-step中选择的高质量规则。大量的实验结果表明，RNNLogic在知识图推理方面的性能优于目前最先进的方法。此外，RNNLogic还能够生成高质量的逻辑规则。
2 相关工作
我们的工作是关于知识图推理逻辑规则学习的现有研究成果。大多数传统方法将查询实体和回答实体之间的关系路径枚举为候选逻辑规则，并进一步了解每个规则的标量权重，以评估质量。代表性的方法包括 马尔可夫逻辑网络(Kok & Domingos, 2005;Richardson & Domingos, 2006;Khot等人，2011)， 关系依赖网络(Neville & Jensen, 2007;Natarajan等人，2010年)， 规则挖掘算法(Gal´araga等人，2013年;Meilicke等人，2019)， 路径排名(Lao & Cohen, 2010;Lao et al.， 2011)和 概率个性化页面排名(ProPPR)算法(Wang et al.， 2013;2014 a, b)。最近的一些方法通过以可微的方式同时学习逻辑规则和权重来扩展这一思想，其中大多数是基于神经逻辑编程(Rockt¨aschel & Riedel, 2017;杨等，2017;Cohen等人，2018;Sadeghian等人，2019年;Yang & Song, 2020)或神经定理证明(rock¨aschel & Riedel, 2017;Minervini等人，2020年)。但是，由于这些方法共同学习大量候选逻辑规则的权重，由于其高维性，很难用学习到的权重确定规则的重要性。相反，在我们的方法中，推理预测器每次只探索生成器的一些逻辑规则。 在这些规则中，我们可以使用预测器和生成器通过后验推理精确地识别最重要的规则，并进一步使用这些规则来改进规则生成器，这鼓励规则生成器只探索高质量的规则，并更有效地执行搜索。
另一种规则学习方法是 基于强化学习的。其总体思路是训练寻径代理，由寻径代理在知识图中搜索推理路径来回答问题，然后从推理路径中提取逻辑规则(Xiong等，2017;Chen等人，2018;Das等人，2018;林等，2018;沈等人，2018)。然而，训练有效的寻径代理是非常具有挑战性的，因为 奖励信号(即路径是否结束于正确的答案) 可能非常稀疏。虽然有一些研究(Xiong et al.， 2017)试图利用基于嵌入的方法来进行奖励塑造，以获得更好的奖励，但效果仍然不如大多数基于嵌入的方法。在我们的方法中，规则生成器具有类似于那些寻径代理的角色。主要的区别在于，我们是 用逻辑规则同时训练规则生成器和推理预测器，两者相互促进。推理预测器为训练规则生成器提供了有效的奖励，而规则生成器提供了高质量的规则来提高推理预测器。
我们的工作也与知识图嵌入有关， 通过在潜在空间中学习实体和关系嵌入来解决知识图推理(Bordes等，2013;王等人，2014c;杨等，2015;Nickel等人，2016;Trouillon等人，2016;蔡、王，2018;Dettmers等人，2018;Balazevic等人，2019;Sun等人，2019)。通过适当的架构，这些方法能够学习一些简单的逻辑规则。例如TransE (Bordes et al.， 2013)可以学习一些合成规则。RotatE (Sun et al.， 2019)可以挖掘一些合成规则、对称规则和逆规则。然而，这些方法只能以 隐式的方式找到一些简单的规则。相比之下，我们的方法 显式地训练了一个规则生成器，它能够学习生成更复杂的规则。
图1:概述。RNNLogic有一个规则生成器pθ和一个推理预测器pw。给定一个查询，规则生成器为推理预测器生成逻辑规则。推理预测器将生成的规则作为输入，并在知识图上推理来预测答案。RNNLogic使用基于EM的算法进行了优化。在每次迭代中，规则生成器生成一些逻辑规则，我们更新推理预测器来探索这些规则进行推理。然后在E-step中，通过后验推理从所有生成的规则中识别出一组高质量的规则。最后在M-step中更新规则生成器，使其与E-step中识别的高质量规则保持一致。
; 3 模型
在本节中，我们将介绍所提出的RNNLogic方法，该方法学习知识图推理的逻辑规则。我们首先正式定义了知识图推理和逻辑规则。
KG推理。设pdata(G, q, a)是一个训练数据分布，其中G是一个背景知识图，其特征为(h, r, t)-三联集，我们也可以写成r(h, t)， q = (h, r， ?)是一个查询，a = t是答案。给定G和查询q，目标是预测正确答案a。更正式地说，我们的目标是对概率分布p(a|G, q)建模。
逻辑规则。我们通过学习逻辑规则进行知识图推理，其中本文的逻辑规则为合取形式∀{Xi}li=0 r(X0, Xl)←r1(X0, X1)∧···∧rl(Xl−1,Xl)，以l为规则长度。这种语法结构可以自然地捕获组合，并且可以轻松地表达其他常见的逻辑规则，如对称规则或反规则。例如，用r−1表示关系r的反关系，则每个对称规则可以表示为∀{X,Y} r(X, Y)←r−1(X, Y)。
在RNNLogic中，我们 将一组可以解释查询的逻辑规则视为我们必须推断的潜在变量。为此，我们引入了一个规则生成器和一个使用逻辑规则的推理预测器。给定一个查询，规则生成器利用循环神经网络生成一组逻辑规则，并将其交给推理预测器进行预测。我们用基于EM的算法优化RNNLogic。在每次迭代中，我们从更新推理预测器开始，以选出规则生成器生成的一些逻辑规则。然后，在E-step中，我们通过后验推理，利用规则生成器的先验和推理预测器的似然，从所有生成的规则中识别出一组高质量的规则。最后在M-step中，用识别出的高质量规则更新规则生成器。
3.1 概率形式化
我们首先以概率的方式形式化知识图推理，其中一组逻辑规则z被视为潜在变量。利用规则生成器和推理预测器对目标分布p(a |g, q)进行联合建模。规则生成器pθ定义了以查询q为条件的一组潜规则z的先验，而推理预测器pw给出了以潜在规则z、查询q和知识图G的条件下答案a的可能性，因此p(a|G, q)可以计算如下:（1）
目标是联合训练规则生成器和推理预测器，使训练数据的似然最大化。形式上，目标函数如下:（2）
3.2 参数
规则生成器。规则生成器定义了分布pθ(z|q)。对于查询q，规则生成器旨在生成一组用于回答查询的潜在逻辑规则z。
形式上，给定一个查询q = (h, r， ?)，我们只考虑查询关系r而不考虑查询实体h，从而生成组合逻辑规则，这允许生成的规则跨实体泛化。对于缩写形式r←r1∧···∧rl的每一条组合规则，都可以看作是一个关系序列[r, r1, r2···rl, rEND]，其中r为查询关系或规则头，{ri}li=1为规则体，rEND为表示关系序列结束的特殊关系。
这种关系序列可以通过递归神经网络有效建模(Hochreiter & Schmidhuber, 1997)，因此我们引入RNNθ来参数化规则生成器。给定一个查询关系r, RNNθ依次生成规则体中的每个关系，直到到达结束关系rEND。在此过程中，同时计算生成规则的概率。有了这样的规则概率，我们将z规则集合上的分布定义为多项分布:（3）其中Mu代表多项分布，N是集合z大小的超参数，RNNθ(·|r)定义了规则头为r的组合规则上的分布。规则集z的生成过程是非常直观的，我们简单地用RNNθ生成N条规则来形成z。
基于逻辑规则的推理预测器。推理预测器定义了pw(a|G, q, z)，对于查询q，预测器使用一组规则z在知识图G上推理并预测答案a。
根据随机逻辑编程(Cussens, 2000)原则的推理框架，我们使用对数线性模型进行推理。对于每个查询q = (h, r， ?)，组合规则都能在图G上找到不同的基础路径，导致不同的候选答案。例如，给定查询(Alice，爱好，?)，一个规则爱好←朋友∧爱好可以有两个基础，爱好(Alice, Sing)←朋友(Alice, Bob)∧爱好(Bob, Sing)和爱好(Alice, Ski)←朋友(Alice, Charlie)∧爱好(Charlie, Ski)，产生两个候选答案Sing和Ski。
设A为规则集中z中任意逻辑规则可发现的候选答案集合。对于每个候选答案e∈A，我们计算该候选答案的标量得分(e):（4）其中P(h，规则，e)是基础路径的集合，从h开始，到e结束，遵循一个规则(例如，Alice friend−−−→Bob hobby−−−→Sing)。ψw(rule)和φw(path)是每个规则和路径的标量权值。直观上看，每个候选答案e的分数是各规则贡献的分数之和，即scorew(e|规则)。为了得到scorew(e|规则)，我们对图G中找到的每个接地路径求和。
对于每个特定路径的得分φw(path)，我们探索了两种参数化方法。有一个方法总是设置φw(path) = 1。另一种方法遵循了RotatE (Sun等人，2019)的思想，这是一种基于嵌入的方法。具体地说，我们为每个实体引入一个嵌入，每个关系被建模为实体嵌入上的旋转运算符。对于从h到e的规则的每条接地路径，我们将规则的每一体关系定义的旋转算子应用到h的嵌入，计算得到的嵌入与e的嵌入之间φw(路径)的相似度。
例如，给定一条路径Alice friend−−−→Bob hobby−−−→Sing，我们用friend和hobby定义的运算符旋转Alice的嵌入。然后，我们计算了得到的嵌入与φw(path)的Sing嵌入的相似度。参数化方法请参见App. B。
一旦我们得到了每个候选答案的分数，我们就可以通过使用softmax函数进一步定义查询q的答案a是实体e的概率，如下所示:（5）
3.3 优化
接下来，我们介绍如何优化推理预测器和规则生成器，使Eq.(2)中的目标最大化。在每次训练迭代中，我们首先根据生成器生成的一些规则更新推理预测器pw，然后用EM算法更新规则生成器pθ。在E-step中，通过规则生成器的先验和推理预测器的似然，通过后验推理从所有生成的规则中识别出一组高质量的规则。在M-step中，更新规则生成器，使其与E-step中选择的高质量规则一致。
形式上，在每次训练迭代中，我们首先最大化Eq.(2)中关于推理预测器pw的目标O(θ， w)。为此，我们注意到对于每个训练实例(G, q, a)有一个关于pθ(z|q)的期望操作。通过为查询q绘制一个样本ˆz ~ pθ(z|q)，我们可以在每个训练实例(G, q, a)近似w的目标函数如下:（6）
基本上，我们从生成器中采样一组规则ˆz，并将ˆz提供给推理预测器。然后更新推理预测器的参数w，使答案a的对数似然最大。
有了更新的推理预测器，我们然后更新规则生成器pθ以最大化目标O(θ， w)。一般来说，这可以通过RE(Williams, 1992)或重新参数化技巧(Jang等人，2017;Maddison et al.， 2017)，但它们在我们的问题中效率较低，因为有大量的逻辑规则。为此，本文开发了一个EM框架来优化规则生成器。
E-step。回想一下，当优化推理预测器时，我们为每个数据实例(G, q, a)绘制一组规则ˆz，并让推理预测器使用ˆz来预测a。对于每个数据实例，E-step旨在从所有生成的规则ˆz中识别一组K高质量规则zI，即zI⊂ˆz， |zI| = K。
形式上，这可以通过考虑逻辑规则zI的每个子集的后验概率来实现，即pθ，w(zI |g, q, a)∝pw(a|G, q, zI)pθ(zI|q)， zI的先验来自规则生成器pθ，似然来自推理预测器pw。后验结合了规则生成器和推理预测器的知识，因此可以通过从后验中抽样来获得可能的高质量规则集。然而，由于后验的分配函数难以处理，因此从后验中采样是非平凡的，因此我们使用一种更容易处理的形式来近似后验，并提出如下命题:
命题一：考虑一个数据实例(G, q, a)， q = (h, r， ?)， a = t. F或由规则生成器pθ生成的一组规则ˆz，我们可以对每个规则∈ˆz计算出以下分数h:（7）其中A是ˆz中规则发现的所有候选答案的集合，scorew(e|规则)是由Eq.(4)定义的每个规则对实体e贡献的分数，RNNθ(规则|r)是由生成器计算的规则的先验概率。设s = max∈A |scorew(e)| < 1。然后对于规则的子集zI⊂ˆz与|zI| = K，对数概率log pθ，w(zI|G, q, a)可以近似如下:（8）其中const是一个独立于zI的常数项，γ(zI) = log(K!/ Q规则∈ˆz nrule!)， K为集合zI的给定大小，nrule为每个规则在zI中出现的次数
我们在App. A.1中证明了这个命题。在实践中，我们可以对Eq.(4)中的逻辑规则的权值进行权值衰减，从而使s = max∈A |scorew(e)|得到更精确的逼近。
上述的主张允许我们利用(P规则∈zI H(规则)+γ(zI)+const)来近似对数后验对数P θ，w(zI|G, q, a)，得到一个分布ˆP (zI)∝exp(P规则∈zI H(规则)+γ(zI))作为后验的良好近似。事实证明，导出的ˆp(zI)是一个多项分布，因此从ˆp(zI)抽样更容易处理。具体来说，从ˆp(zI)中独立抽样ˆz的K个逻辑规则可以形成一个样本ˆzI，其中每个规则抽样的概率计算为exp(H(rule))/(p rule0∈ˆz exp(H(rule0)))。我们在App中提供了证明。
直观上，我们可以将每个规则的H(规则)视为对规则质量的评估，它考虑了两个因素。第一个因子以推理预测器pw为基础，计算为某规则对正确答案贡献的分数t减去该规则对其他候选答案贡献的平均分数。如果一个规则给真实答案更高的分数，给其他候选答案更低的分数，那么这个规则可能更重要。第二个因素是基于规则生成器pθ，在这里我们计算每个规则的先验概率，并使用概率正则化。
根据经验，我们发现选取H最高的K规则(规则)来形成ˆzI比从后验取样效果更好。事实上，由top-K规则形成的ˆzI是后验的MAP估计，因此选择top-K规则的变体产生了一个硬分配EM算法(Koller & Friedman, 2009)。尽管减少了理论保证，我们在实践中使用这种变体，因为它的良好性能。
M-step。一旦我们为E-step中的每个数据实例(G, q, a)获得一组高质量的逻辑规则ˆzI，我们进一步利用这些规则来更新M-step中规则生成器的参数θ。
具体来说，对于每个数据实例(G, q, a)，我们将相应的规则集ˆzI作为(现在已经完成)训练数据的一部分，并通过最大化ˆzI的对数似然值来更新规则生成器:（9）
基于上述目标，推理预测器的反馈可以有效地提炼到规则生成器中。这样，规则生成器将学会只生成高质量的规则供推理预测器探索，从而减少了搜索空间，获得了更好的经验结果。最后，我们总结了Alg. 1中的优化算法。
; 3.4 RNNLogic+
在RNNLogic中，我们旨在联合训练一个规则生成器和一个简单的推理预测器。尽管该框架能够生成高质量的逻辑规则，但推理预测器的能力较低，限制了知识图推理的性能。为了进一步改进结果，一个很自然的想法是只关注推理预测器，并通过使用RNNLogic生成的高质量规则作为输入，开发一个更强大的预测器。接下来，我们提出一个这样的预测器。形式上，让ˆzI成为生成的高质量逻辑规则集。给定一个查询q = (h, r， ?)，让a是ˆzI中任何规则都可以发现的候选答案的集合。对于每个候选答案e∈A，我们再次计算该候选答案的标量分数scorew(e)，如下所示:（10）
其中，vrule是每个规则的嵌入向量，|P(h, rule, e)|是规则发现的从h到e的接地路径数。AGG是一个聚合器，通过处理|P(h, rule, e)|作为聚合权值，旨在聚合所有规则嵌入vrule。我们跟随Zhu等人(2021年)使用PNA聚合器(Corso等人，2020年)，因为其性能良好。一旦我们得到了聚合的嵌入，我们进一步使用一个MLP将嵌入映射到候选对象e的标量分数上。在实践中，我们可以使用知识图嵌入进一步提高上述分数。对于每个查询q = (h, r， ?)和候选答案e，知识图嵌入方法能够推断出一个可信分数KGE(h, r, e)，衡量(h, r, e)是一个有效的三元组的可能性。在此基础上，将逻辑规则得分与知识图嵌入得分相结合，自然可以得到更强大的得分函数。例如，我们可以将它们线性组合如下:（11）
其中η控制知识图嵌入得分的权重。一旦我们有了每个候选e的得分scorew(e)，我们可以再次对得分应用softmax函数，如Eq.(5)来计算e是答案的概率，即pw(a = e|G, q, z).然后可以通过最大化每个实例(G, q, a)的可能性来轻松地优化这个预测器。
4 实验
4.1 实验设置
数据集。在我们的实验中，我们选择了四个基准数据集进行评估，它们是FB15k237 (Toutanova & Chen, 2015)， WN18RR (Dettmers等人，2018)，亲属关系(Kok & Domingos, 2007)和UMLS (Kok & Domingos, 2007)。对于亲属和UMLS数据集，没有标准的数据分割，因此我们随机抽取所有三胞胎的30%用于训练，20%用于验证，其余50%用于测试。这些数据集的详细统计汇总在App中。
算法比较。实验比较了以下几种算法:?规则学习方法。对于传统的统计关系学习方法，我们选择了马尔可夫逻辑网络(Richardson & Domingos, 2006)、增强关系依赖网络(Natarajan et al.， 2010)和路径排序(Lao & Cohen, 2010)。我们还考虑了神经逻辑编程方法，包括NeuralLP (Y ang et al.， 2017)、DRUM (Sadeghian et al.， 2019)和NLIL (Y ang & Song, 2020)。此外，我们还比较了CTP (Minervini et al.， 2020)，这是一种基于神经定理证明的可微方法。此外，我们考虑了三种强化学习方法，分别是MINERV A (Das et al.， 2018)、MultiHopKG (Lin et al.， 2018)和M-Walk (Shen et al.， 2018)。？ 其他方法。我们还比较了一些嵌入方法，包括TransE (Bordes等人，2013年)、DistMult (Y ang等人，2015年)、ComplEx (Trouillon等人，2016年)、ComplEx- n3 (Lacroix等人，2018年)、ConvE (detmers等人，2018年)、TuckER (Balazevic等人，2019年)和RotatE (Sun等人，2019年)。？ RNNLogic。对于RNNLogic，我们考虑两种模型变体。第一个变量给推理预测器中的不同接地路径分配一个恒定的分数，即在Eq.(4)中φw(path) = 1，我们将这个变量记为w/o emb。第二个变量利用实体嵌入和关系嵌入来计算路径得分φw(路径)，我们用emb表示该变量。？ RNNLogic +。
对于RNNLogic+，我们还考虑了两种模型变体。第一种变体仅使用RNNLogic学习到的逻辑规则来训练Eq.(10)中的推理预测器，我们表示该变体为w/o emb…第二种变体使用学习的逻辑规则和知识图嵌入来训练Eq.(11)中的推理预测器，我们用emb表示该变体。
评价指标。在评估过程中，对于每个测试三元组(h, r, t)，我们构建两个查询(h, r， ?)和(t, r−1，?)，答案是t和h。对于每个查询，我们计算每个实体的概率，并计算正确答案的排名。考虑到来自所有查询的排名，我们报告了过滤设置下的平均秩(MR)、平均倒数秩(MRR)和Hit@k (H@k)，这是大多数现有研究使用的。请注意，在这种情况下，算法对查询的正确答案的概率为零。对于这种情况，许多方法计算正确答案的排名为(m + 1)，其中m是分配非零概率的实体的数量，这可能会有问题(Sun等人，2020)。为了公平比较，如果我们总共有n个实体，那么在这种情况下，我们计算正确答案的排名为(m + (n – m)/2)，这是我们对(n – m)实体的随机排名顺序(概率为0)所获得的排名期望。
RNNLogic的实验设置。对于每个训练三元组(h, r, t)，我们在训练集中加入一个逆三元组(t, r−1,h)，得到训练三元组t的增广集。构建一个从pdata训练实例,首先随机样本的三联体(h r t) t,然后形成一个实例(G = t \ {(h r t)}, q = (h r ?), a = t)。基本上,我们使用采样三联体(h r t)构造查询和答案,并使用剩下的三胞胎t形式背景知识图G .在测试过程中,背景知识图G是由所有的三胞胎t。对于规则生成器，FB15k-237生成的规则的最大长度设置为4,WN18RR设置为5，其余设置为3。这些数字是根据验证数据选择的。在优化过程中，我们从规则生成器中为每个数据实例抽取了2000条逻辑规则，在E-step中，我们默认将1000条规则确定为高质量规则。详细的实验设置在App. C中总结。
表1:FB15k-237和WN18RR的推理结果。”H@k”的单位是%。*表示数字来自原始论文。意味着我们用同样的评估程序重新运行这些方法。
4.2 结果
与现有方法的比较。我们在表1中展示了两个大数据集(FB15k237, WN18RR)的结果，在表2中展示了两个小数据集(亲属关系，UMLS)的结果。
我们首先比较RNNLogic和规则学习方法。RNNLogic取得了比统计关系学习方法(MLN, boosting RDN, PathRank)和神经可微方法(NeuralLP, DRUM, NLIL, CTP)更好的结果。这是因为 RNNLogic的规则生成器和推理预测器可以相互协作，减少搜索空间，学习更好的规则。在大多数情况下，RNNLogic也优于强化学习方法(MINERV A, M-Walk)。原因是RNNLogic 通过一个基于em的框架进行了优化，其中推理预测器为规则生成器提供了更有用的反馈，从而解决了稀疏奖励的挑战。
然后，我们将RNNLogic与最先进的基于嵌入的方法进行比较。对于在推理预测器中嵌入的RNNLogic(带emb.)，它在大多数情况下优于大多数比较方法，原因是 RNNLogic能够使用逻辑规则来增强推理性能。对于不嵌入的RNNLogic (w/o emb.)，它达到了与基于嵌入的方法相当的结果，特别是在训练三元组相当有限的WN18RR，亲属和UMLS。
学习逻辑规则的质量。接下来，我们研究通过不同的推理方法学习到的规则的质量。对于每一个训练过的方法，我们让它生成I个质量最高的逻辑规则，并使用它们训练一个不含emb的推理预测器。如式(5)预测。对于RNNLogic，每条规则的质量由规则生成器的先验概率来衡量，我们使用波束搜索来推断top-I规则。不同I的结果如图2所示，其中RNNLogic取得了更好的结果。即使每个查询只有10条规则，RNNLogic仍然可以获得有竞争力的结果。
性能w.r .t。训练三胞胎数量。在训练三胞胎非常有限的情况下，为了更好地评估不同的方法，在本节中，我们减少了关于亲属和UMLS的训练数据的数量，以查看性能如何变化。结果如图4所示。我们看到RNNLogic是w/o emb。达到最佳效果。此外， 通过减少训练三元组，RNNLogic对数据稀疏性的鲁棒性优于RotatE。
性能w.r .t。嵌入维数。RNNLogic emb。利用实体嵌入和关系嵌入改进推理预测器。接下来，我们研究了不同嵌入维度下的性能。结果如图3所示，我们将其与RotatE (Sun等人，2019)进行了比较。我们看到 RNNLogic在每个嵌入维度上都明显优于RotatE。 这种改进主要来自于逻辑规则的使用，说明我们学习的规则确实是有帮助的。
优化算法的比较。RNNLogic使用EM算法来优化规则生成器。在实践中，发电机也可以用REINFORCE (Williams, 1992)进行优化(详见App. E)。我们在w/o emb中对两种算法进行了经验比较。的情况。亲属关系和UMLS结果如表3所示。我们认为新兴市场的表现持续优于强化。
生成逻辑规则的案例研究。最后，我们在表4中展示了RNNLogic在FB15k-237数据集上生成的一些逻辑规则。我们可以看到这些逻辑规则是有意义的和多样的。第一条规则是子关系规则。第三和第五规则是两跳组合规则。其余的逻辑规则有更复杂的形式。这个案例研究表明，RNNLogic确实可以学习到有用的、多样的推理规则。更多生成的逻辑规则请参考App D。
5 结论
本文研究了知识图推理的逻辑规则学习，提出了一种RNNLogic方法。RNNLogic将一组逻辑规则作为潜在变量，联合学习具有逻辑规则的规则生成器和推理预测器。我们提出了一种基于em的优化算法。大量的实验证明了RNNLogic的有效性。在未来，我们计划研究生成更复杂的逻辑规则，而不仅仅是组合规则。
Original: https://blog.csdn.net/weixin_43923463/article/details/125819098
Author: hike76
Title: 论文翻译解读：learning logic rules for reasoning on knowledge graphs【RNNLogic】
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/568898/
转载文章受原作者版权保护。转载请注明原作者出处！