知识图谱嵌入为实体和关系学习低维的向量表示，KG往往表现出分层和逻辑模式，希望这些都能在嵌入空间中表现出来。对于分层结构，双曲空间有很大的优点，它能保持高保真和很小的嵌入维度。但是，现有的双曲嵌入方法均未考虑KG中丰富的逻辑模式。这里介绍一类双曲KG嵌入，它能同时捕获分层和逻辑模式。结合带注意力的反射和旋转来建模复杂的关系模式。
Introduction
KGs是表示知识的很有效的数据结构，已应用到很多下流的应用中，如词义消歧、问答系统和信息检索。现实中的知识图谱，如Yago,WordNet, 往往是不完整的，一个补全知识的很普遍的方法是将KG嵌入到向量空间中.嵌入方法为实体和关系学习各自的表示，这些表示能保持知识图谱中原有的结构和语义。
KG中的关系有不同的特性，比如有的关系具有对称性，而有些关系没有对称性。这些特性的不同给嵌入方法带来了很大的挑战：保持每种关系模式需要在嵌入空间中产生不同的几何模式。一种很直接的解决此问题的方法是采用维度很高的嵌入。但是在大型知识图谱中，这样做会带来很高的内存消耗。
对于分层数据，双曲几何提供了一种很好的方法，它的嵌入维度很低且能保持分层。双曲空间能以任意小的失真将树结构嵌入到二维空间中。最近的研究提出将分层的图结构嵌入到双曲空间中而不是传统的欧式空间，但是这些方法关注于嵌入简单的图结构，不能表达KG中多样的复杂的关系。
本文提出新的双曲嵌入方法，它以很小的维度对KG进行表示，并且利用丰富的变换来编码KG中的逻辑模式。主要方法：1）用关系特定的曲率训练双曲嵌入以保持KG中的多种分层；2）参数化双曲等距并利用其几何性质来捕获关系的逻辑模式；3）利用双曲注意力来结合不同的几何算子和不同的逻辑模式。
在链接预测任务上，用标准的数据集进行测试，发现1）在维度很低时，MRR超过 欧式嵌入6.1%，特别对于分层关系，效果更好；2）双曲等距的几何性质可以直接映射为不同关系的逻辑特征，发现反射能捕获对称关系，旋转能捕获反对称关系；3）基于注意力的变换可以概括多种逻辑模式。 在维度很高时，发现双曲嵌入和欧式嵌入有相似的表现，本文的方法获得了新的SOTA结果。
现有的KG嵌入的方法依赖于嵌入空间的几何特性。提高嵌入性能主要从两个方面入手：更复杂的空间(如从欧式空间到复数空间或双曲空间）或者更复杂的算子(从翻译到图网络）。而本文的方法在两个方向上都有改进。
双曲几何
双曲几何是一类具有常数负曲率的非欧几何，本文采用具有负曲率 -c(c>0)的d维庞加莱球
来建模KG，其中||.||表示L2范数。对于庞加莱球上的点 ，其切空间 是一个d维的欧式空间，它包含从x点出发的所有方向的切线。切空间和庞加莱球之间的切换通过指数映射和对数映射进行，特别地，在原点的切换方式如下
在双曲空间中向量加不像欧式空间中的，因为庞加莱球上两个点相加可能超出球。所以用莫比乌斯加来计算庞加莱球上的加：
最后，双曲空间上两点的距离定义为：
主要方法
本方法的目标是学习能编码复杂的逻辑结构且能保持隐含分层的KG 表示，具体做法是：1）将KG嵌入到双曲空间上以保持分层结构；2）利用一类参数化的双曲等距来编码双曲模式；3）用双曲注意力来结合这些等距。
1 双曲空间中的分层
上面说过，双曲嵌入即使在嵌入维度很低时也能表示分层。为双曲空间设置正确的曲率是非常必要的。这一参数能使得模型变的更灵活，因为它决定了是将关系嵌入到弯曲的空间还是更平的空间。这里对于每种关系，学习一个关系特定的曲率。
2 双曲等距
KG中的关系往往满足特定的性质。在大规模KG中创造和维护确定的规则是不可行的，反之，嵌入方法将关系表示为参数化的几何算子，可以直接映射为逻辑特性。本文用旋转来表示反对称关系，用反射代表对称关系。
旋转已被成功地用来在复杂空间中编码组合关系。这里将它扩展到双曲空间中。反射天然地可以表示对称关系。
3 双曲注意力
然后利用切空间平均进行加权
ATTH模型架构
然后利用双曲注意力进行将两个结果结合起来，再执行双曲翻译：
最后与尾实体的嵌入相结合
目标函数
由于在双曲空间上进行参数优化是很繁琐的，所以本工作将所有参数都定义在欧式空间上。
Original: https://blog.csdn.net/Hello_word5/article/details/109288560
Author: YY.net
Title: 双曲图嵌入Low-Dimensional Hyperbolic Knowledge Graph Embeddings
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/558102/
转载文章受原作者版权保护。转载请注明原作者出处！