研究问题
提出一种关系敏感且能充分利用局部和全局结构信息的嵌入模型
背景动机
- ConvE模型的交互数受限，且没有充分考虑结构信息，论文使用Inception卷积网络以增强交互
- KBGAT考虑到了结构信息，但需要进行多跳推理，论文认为可以通过从局部邻域和全局实体的相关查询子图中对这一过程进行简化。如下图所示，全局头邻居即关系在整个数据集中连接到的头实体，全局尾邻居即关系在整个数据集中连接到的尾实体
; 模型方法
- 总体框架
ReInceptionE总体架构如上，包括了Inception-based query encoder (InceptionE)，其作用是将头实体和关系的嵌入合并得到一个查询向量；关系相关的局部注意力机制；关系相关的全局注意力机制；关系相关的联合注意力机制。
- InceptionE
InceptionE的主要优势在于可以使用多个卷积核捕捉头实体和尾实体的交互，小卷积核得到的结果被依次送入较大的卷积核
最终将各层卷积得到的特征拼接后送入全连接层
- 关系相关的局部注意力机制
给定一个查询q = ( h , r , ? ) q=(h, r, ?)q =(h ,r ,?)，其局部邻居定义为N q = { n i = ( e i , r i ) ∣ ( e i , r i , h ) ∈ G } \mathcal{N}{q}=\left{n{i}=\left(e_{i}, r_{i}\right) \mid\left(e_{i}, r_{i}, h\right) \in \mathcal{G}\right}N q ={n i =(e i ,r i )∣(e i ,r i ,h )∈G }，其向量表示为v n i = Inception ( v e i , v r i ) \mathbf{v}{n{i}}=\operatorname{Inception}\left(\mathbf{v}{e{i}}, \mathbf{v}{r{i}}\right)v n i =I n c e p t i o n (v e i ,v r i )，按如下公式计算注意力分数
接下来对邻居信息做基于注意力的聚合
- 关系相关的全局注意力机制
首先构建关系相关的全局头图H r = { e i ∣ ( e i , r , e j ) ∈ G } \mathcal{H}{r}=\left{e{i} \mid\left(e_{i}, r, e_{j}\right) \in \mathcal{G}\right}H r ={e i ∣(e i ,r ,e j )∈G }和全局尾图T r = { e j ∣ ( e i , r , e j ) ∈ G } \mathcal{T}{r}=\left{e{j} \mid\left(e_{i}, r, e_{j}\right) \in \mathcal{G}\right}T r ={e j ∣(e i ,r ,e j )∈G }，然后用之前的公式计算
- 关系相关的联合注意力机制
首先将局部和全局的邻居信息拼接
最终损失函数计算如下，为softmax的平滑版本
实验部分
- 对比实验
- 消融实验
这个结果比较神奇，全局邻居居然比局部邻居更重要
Original: https://blog.csdn.net/jining11/article/details/123347006
Author: 羊城迷鹿
Title: ReInceptionE: Relation-Aware Inception Network with Joint Local-Global Structural Information
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/558130/
转载文章受原作者版权保护。转载请注明原作者出处！