研究问题
创建了稀疏连接的知识图谱数据集，并研究如何在稀疏连接的知识图谱上完成链路预测任务
背景动机
- 目前常用的知识图谱补全数据集都是基于稠密连接的假设创建的，比如FB15K数据集创建时就只包含至少有一百条边关联的实体，但这与实际情况不符，限制了模型在实际中的应用
- 现有模型的复杂程度不够，论文对如何堆叠卷积进行了研究
- 现有模型都是直接给出候选实体的分数排名，论文使用Student网络对其进行了Re-rank（知识图谱的稀疏性带来了一些标签噪声，而知识蒸馏有助于提升模型在噪声下的表现）
数据集构造
论文构造了两个数据集，一个是在SNOMED CT的基础上重新构造数据集SNOMED CT Core，不实施去除稀疏实体的操作；另一个是对FB15k-237进行降采样，随机删除一些边，获得FB15k-237-Sparse，论文使用的几个数据集如下，除了FB15k-237是常规的密集数据集，其他几个都是稀疏数据集
; 模型方法
- 总体框架
首先使用BERT预先计算出实体嵌入，然后将其与自学习的关系嵌入拼接，经过多层的卷积和池化后得到一个查询向量，利用查询向量对候选实体进行排序。接下来利用知识蒸馏获得一个学生模型，对排序结果进行重排。
- BERT预先计算实体嵌入
这一部分比较简单，论文直接使用了现有的BERT模型去输出嵌入。在后续训练过程中，这一部分嵌入会固定下来。
- 深度卷积操作
- 对实体分数进行重排
对候选实体的得分进行排序，筛选出top-k个实体（论文中k设为10），分别将关系标记作为头实体名和尾实体名的前缀，得到新的序列表示作为学术模型的输入
这里首先介绍一下知识蒸馏，知识蒸馏的动机是，在分类问题下，简单地使用one-hot编码作为label并不能很好地捕捉到诸如类间距离和类内方差这种细微的信息，如果label中每个类别都有一个分数，比较近的label分数也接近，比较远的label分数相差也比较大，就可以获得更好的效果。因此可以先训练一个Teacher模型，对其输出结果用软化的softmax进行处理，拉小分数间的差距。
查了一下资料感觉作者在这里把公式写错了，把1-λ写成了λ-1，另外作者直接用学生网络的hard target和教师网络的soft target以及hard label去计算loss，一般的设定是用学生网络的soft target和教师网络的soft target计算，用学生网络的hard target和hard label去计算，如下图所示。
最终，候选三元组的分数是教师模型和学生模型得到分数的加权平均
实验部分
- 链路预测对比实验
在FB15k-237这个数据集上表现一般，没有CompGCN好，可能只适用于稀疏模型
- 分析Re-rank对不同度数节点的提升作用
可以看到节点的度数越小，提升越大，证明了这一策略在稀疏数据集上的有效性
; 评价
论文的创新点主要是提出了一种新的场景，即稀疏情况下的知识图谱链路预测任务，使用的深层卷积和知识蒸馏对效果提升作用较大，可以参考一下。
Original: https://blog.csdn.net/jining11/article/details/120309902
Author: 羊城迷鹿
Title: Robust Knowledge Graph Completion with Stacked Convolutions and a Student Re-Ranking Network
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/595506/
转载文章受原作者版权保护。转载请注明原作者出处！