研究问题
提出了一个轻量级的知识图谱嵌入模型框架，可以用有限的参数有效利用实体和关系的上下文信息，并可以直接用来提升仅基于嵌入的老模型的效果
背景动机
论文首先提出了实体上下文和关系上下文的概念。对于实体上下文，它其实就是现在大多数GNN模型所利用的信息，即一个实体的邻居实体及其相连的边；而关系上下文就是一个给定关系的两个实体端点，这是一个比较新的概念。
作者举了一个实体上下文例子，要判断Hillary Clinton和Joe Biden谁是美国总统时，由于Joe Biden的实体上下文有succeeded_by而Hillary Clinton的上下文没有，因此可以判断
一个关系上下文的例子是要判断Donald Trump是美国还是纽约的总统，这时通过观察president_of的关系上下文，可以发现尾实体类型一般都是国家，因此可以判断
现有的GNN方法对参数要求过高，无法应用到大规模数据集，且没有利用到关系上下文相关信息。
; 符号定义
知识图谱表示为三元组集合数学公式:G = { ( h , r , t ) ∣ ( h , r , t ) ∈ E × R × E } \mathcal{G}={(h, r, t) \mid(h, r, t) \in \mathcal{E} \times \mathcal{R} \times \mathcal{E}}G ={(h ,r ,t )∣(h ,r ,t )∈E ×R ×E }，给定一个三元组，其对应嵌入表示为数学公式:e h , e r , e t ∈ R d e_{h}, e_{r}, e_{t} \in R^d e h ,e r ,e t ∈R d，对应得分函数定义为数学公式: ψ : R d × R d × R d → R \psi: \mathbb{R}^{d} \times \mathbb{R}^{d} \times \mathbb{R}^{d} \rightarrow \mathbb{R}ψ:R d ×R d ×R d →R，论文的目标是做关系预测。
给定一个实体h，其实体上下文定义为数学公式:C ent ( h ) = { ( r , t ) ∣ ( h , r , t ) ∈ G } \mathcal{C}{\text {ent }}(h)={(r, t) \mid(h, r, t) \in \mathcal{G}}C ent (h )={(r ,t )∣(h ,r ,t )∈G }；给定一个关系r，其关系上下文定义为数学公式:C r e l ( r ) = { ( h , t ) ∣ ( h , r , t ) ∈ G } \mathcal{C}{r e l}(r)={(h, t) \mid(h, r, t) \in \mathcal{G}}C r e l (r )={(h ,t )∣(h ,r ,t )∈G }
所谓星图就是图中有一个中心节点和若干普通节点，除了从普通节点指向中心节点的边就不存在其他的边。实体上下文星图和关系上下文星图如下所示，中心节点为实体或关系，
模型方法
通用信息传递函数
对实体和关系嵌入的信息传递函数定义如下，其中数学公式:ϕ ent ( ⋅ ) : R d × R d → R d \phi_{\text {ent }}(\cdot): \mathbb{R}^{d} \times \mathbb{R}^{d} \rightarrow \mathbb{R}^{d}ϕent (⋅):R d ×R d →R d为实体上下文编码器，数学公式:ϕ r e l ( ⋅ ) : R d × R d → R d \phi_{r e l}(\cdot): \mathbb{R}^{d} \times \mathbb{R}^{d} \rightarrow \mathbb{R}^{d}ϕr e l (⋅):R d ×R d →R d为关系上下文编码器
α和β为权重计算公式，定义如下
通用损失函数
关系预测的损失函数定义如下
LightCAKE-TransE
LightCAKE-DistMult
; 实验结果
评价
这篇论文主要的创新点在于提出了关系上下文的概念，但由于需要有一步通过聚合头实体和尾实体嵌入来更新关系嵌入的操作，因此需要关系嵌入能够较为简单地表现为实体嵌入进行操作之后的结果，因此只能应用在早期的TransE和DistMult模型上。
Original: https://blog.csdn.net/jining11/article/details/122023787
Author: 羊城迷鹿
Title: LightCAKE: A Lightweight Framework for Context-Aware Knowledge Graph Embedding
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/556282/
转载文章受原作者版权保护。转载请注明原作者出处！