Enhancing knowledge graph embedding with relational constraints 利用关系约束增强知识图嵌入
发表于：Neurocomputing 429 (2021) 77–88
摘要：研究知识图嵌入，将知识图的实体和关系嵌入到连续向量空间中，有利于各种现实应用。在现有的求解方法中，利用几何平移来设计分数函数的平移模型受到了广泛的关注。然而，这些模型主要集中于观察三胞胎是否可信的证据，而忽略了这一关系也暗示了其主体或客体实体的某些语义约束。本文提出了一种基于关系约束增强知识图嵌入的一般框架（KRC）。具体来说，我们通过将关系及其参数之间的规律编码到平移嵌入空间中，精心设计了评分函数。此外，我们提出了一种基于软边距的排名损失来有效地训练KRC模型，该模型表征了负三联和正三联之间的不同语义距离。此外，我们结合规则和分布表示来预测缺失的三联体，具有一定的鲁棒性保证。我们评价了我们的方法在知识图完成和实体分类的任务。大量的实验表明，与最新的方法相比，KRC获得了更好的或可与之媲美的性能。此外，KRC在处理知识图中实例较少的长尾实体时也有很大的改进。
Trans模型虽然取得了出色的性能，但主要集中在实体-关系-实体三元组上，而忽略了三元组中的关系对其主体或客体实体也意味着一定的语义约束。实际上，利用这些语义约束的好处是:（1）捕获实体类型信息。例如，给定一个正确的三元组（h，r，t），如果r是president_of，我们可以推断，这个h可能是一个政治家，而这个t是一个国家。(2)表征正负三元组之间不同的语义距离。例如图一中，一个负三元组(Beckham, place_of_birth, Honolulu)应该比(Britain, place_of_birth, Honolulu)更接近正三元组(Obama, place_of_
birth, Honolulu)，这是因为r（place_of出生地）的主语应该是一个人，而英国是一个国家。注：冷知识，贝克汉姆是英国出生的，奥班马是火奴鲁鲁出生的。
为了解决这个问题，在本文中，我们提出了一个通用的KRC框架来改进带有关系约束的翻译模型。我们的方法可以有效地捕捉关系及其参数之间的规律性。具体来说，我们通过将规则编码到翻译嵌入空间中，精心设计了得分函数。因此，除了几何平移外，学习到的嵌入也与关系约束兼容。此外，我们根据局部封闭世界假设(LCWA)提出了一种新的基于软边界的排序损失算法，其中软边界可以表征正负三连词之间不同的语义距离。在预测缺失三联体时，我们将规律性与分布表示相结合，使KRC具有更强的预测能力。实验结果表明，KRC能够提高翻译模型的质量。此外，KRC还可以为目前最先进的KG嵌入模型RotatE带来性能优势。
综上所述，KRC可以被视为翻译模型的扩展框架。我们的贡献有三个方面:
- 提出了一种增强知识图嵌入关系约束的通用方法。它可以通过捕捉关系及其参数之间的规律性来改进平移模型。
- 我们引入了一种新的基于边界的软排序损失来反映负三元组和正三元组之间的不同语义距离;在预测三元组时，我们将规律性与分布表示相结合，具有一定的鲁棒保证。
- 我们在三个基准数据集上对我们的方法进行了知识图补全和实体分类的评价。实验结果表明，我们的模型能够持续地提高平移模型的性能，并且可以应用于平移模型的变体，即RotatE。
尽管目前KGE模型取得了很大的成果，但它们受到实体-关系-实体三元组信息量不足的影响，这限制了它们的性能。因此，我们研究了这种关系在其论证中也隐含着一定的语义约束，这可以用来进一步提高性能。
首先我们先回顾局部封闭世界假设LCWA，并为每个候选三元组提取两个三元组特征。此外，我们放松LCWA，提取另外两个三元组特征。这些三元组特征表明实体是否符合关系的约束条件，可以应用于我们提出的模型的训练和评估过程中。
实体类型和关系类型可能会缺失完整的类型，导致知识图中的类型约束模糊。在这些情况下，可以应用局部封闭世界假设(LCWA)，它不是在类级别上近似目标关系的域和范围约束，而是在实例级别上仅基于观察到的三元组。
LCWA将关系约束分为关系的领域和关系的范围，关系的领域是指一个关系所连接的主体实体（头实体），关系范围是指一个实体所连接的客体实体（尾实体）。
例如在上图中visited关系的领域应该为(John， Jane ， Lucy)，而关系visited的范围（Paris ，Berlin）。根据LCWA，我们提取了以下内容两个特性1和2指示一个实体是否符合目标关系的域和范围约束。
在上述方程中，TrainingSet是正三元组的集合。我们用e’表示知识图中出现的任何可能的实体。
然而，这个LCWA是如此的限制性以至于它可能从领域或范围约束中排除一些符合类型约束的实体。因此，我们放松LCWA，其思想如图3所示。根据放宽的LCWA，如果关系r1和r2之间存在连接，则这两个关系的定域或范围约束是相同的。
图3所示。说明如何应用宽松的局部封闭世界假设。因为在visited关系和live in关系之间有一个相同头实体的连接，这两种关系的领域是相同的。然后Bob被分配到visited的关系域，即使在Bob作为主体没有visited关系。
因此，我们提取了另外两个特征3和4表示一个实体是否符合放宽的LCWA下的目标关系的域和范围约束。
在上述方程中，s1 – s4被设计用来描述关系r1连接的头实体和r2连接头实体相同、关系r1连接的尾实体和r2连接头实体相同、关系r1连接的头实体和r2连接尾实体相同、关系r1连接的尾实体和r2连接尾实体相同。我们用e’和r’表示知识图中任何可能出现的实体和关系。因此，对于每个三元组（h,r,t），我们可以提取四个三元组特征I1（h,r）;I2（t,r）;I3（h,r）;I4（t,r）;从直觉上看，一个候选三元组匹配的三个特征越多，它就越有可能是正面的。
给定三元组（h,r,t），翻译模型的得分函数可描述为:
得分函数倾向于正三元组比负三元组的得分更高。
如引言中所述，一个关系可以隐含对其主体或对象实体的某些语义约束。也就是说，当实体作为主体或客体出现时，它的潜在表征应该与这些约束一致。为了描述这种规律性，我们通过标准化欧几里得距离(SED)精心设计了关系约束。因为SED时间复杂度低，可以应用于大规模知识表示中，定义为:
这里是X和X * 分别表示标准化前后的特征向量。μ和σ是期望向量和标准差向量。我们知道，不同的关系会对其主客体实体产生不同的语义约束。因此，μ和σ是与r相关的变量。我们引入了附加的映射向量Wrs;Wro和偏置向量brs;bro以及关系表示r。那么h和t的约束条件是:
* 代表点乘。根据主体实体Cs（h）和对象实体Co（t），我们将平动评分函数(Eq.(9))修改为:
其中超参数λ1，λ2>0用于在主体和客体位置上权衡关系约束的权重。评分函数表明，嵌入的h，t不仅要兼容平移约束(如 h＋r≈t)，而且要基于SED度量分别接近brs;bro，如图5所示。
在上图中brs和bro作为r的参数，分别对应头实体的的中心约束点和尾实体的中心约束点，而C1和C2代表着头实体或尾实体距离brs或bro的范围距离。
此外，对于平移模型的变体RotatE，也可以应用这些关系约束来提高性能。旋转将关系表示为旋转而不是平移(如 h*r≈t)。因此，我们将其评分函数修改如下:
基于边界的软损失：
为了有效地训练平移模型，通常采用基于边际的排序损失。这里的边界保留了正负三元组之间的某些偏好。因为负三元组与特定的正三元组的语义距离不相等。我们将语义权引入到边界中，设计了一种新的基于边界的软损失。因此，我们将嵌入学习问题改造为最小化以下损失函数:
Δ1和Δ2表示是属于正三元组或负三元组，γ表示边界值，权重函数v（ξ1，ξ2）量化任何三元组对之间的语义距离。从直观上看，正负三元组的语义距离越大，二者之间的距离越大。在形式上，我们根据预定义的对语义距离有不同影响的三元组特征来定义权重函数。为了区分它们对权重函数的贡献，我们设:
其中ξ1;ξ2>0是通过验证集选择的权重参数Z。Z的基数是|Z|，Z1由特征1和特征2组成的特征空间，Z2是由特征3和特征4组成的特征空间。在本例中，|Z1|=|Z2|=2。mz1（ξ1;ξ2）和 mz1（ξ1;ξ2）表示三重特征空间z1和z2中ξ1和ξ2之间的曼哈顿距离，其计算方法如下:
其中，ξ1=（h1，r1，t1）ξ2=（h1，r1，t1）。在基于软边缘的排序损失函数之后，三元组对在特征空间中越相似，在语义空间中越接近。经过训练过程，我们可以得到实体和关系嵌入到知识图中，具有更强的语义，有利于下游任务。
以往的研究在预测丢失的三元组时，仅通过分数函数计算候选三元组的分数，从而限制了表现。如上所述，三元组特征3和4表示三元组是否符合目标关系的域和范围约束，可以用来过滤掉一些明显错误的候选项。因此，我们利用这些特征对评分函数的输出进行修正，计算出候选三元组（h，r，t）的评分如下:
根据方程，如果一个候选三元组的三重特征3或4为零，我们将其常数值加到分数函数计算出的分数上，这表明它可能是一个负三元组。
实验结果：
模型结构：
个人总结：本篇文章同昨天阅读的文章类似，但不同点为本文是对传统模型增加了一个框架，在传统模型的基础上，增加了从关系r中训练出的约束特征，再将其整合到相应的传统模型的得分函数中。这个模型很巧妙的利用了关系所包含的约束性，正如同我们之前所发现的FB15K的关系相当于头和尾实体的类别拼接，也证实了按关系分类的正确性。同时也否定了对实体进行分类的做法，本文指出了在知识图谱中实体的类别信息可能不完全，部分连接的缺失可能会导致实体类别信息的缺失。
Original: https://blog.csdn.net/qq_41669355/article/details/121354039
Author: 勤劳的复读机
Title: 论文阅读 Enhancing knowledge graph embedding with relational constraints
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/555780/
转载文章受原作者版权保护。转载请注明原作者出处！