EMBEDDING ENTITIES AND RELATIONS FOR LEARNING AND INFERENCE IN KNOWLEDGE BASES
Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, Li Deng The
International Conference on Learning Representations（ICLR）
- Abstract
学习关系嵌入用于挖掘逻辑规则。研究发现，双线性目标学习能够很好地捕捉关系的语义，矩阵乘法可以表示关系的组成。
[En]
Learning relation embedding is used to mine logic rules. It is found that bilinear goal learning is good at capturing the semantics of relations, and matrix multiplication can represent the composition of relations.
先将模型分类成线性和双线性、两者组合的模型和模型间实体关系的运算。其次讨论双线性模型，将双线性模型中的矩阵限制为对角矩阵则和TransE一样的参数。其次再对比其和TransE的好坏。
-
Background
-
TransE、NTN、RESCAL的模型框架只有轻微的不同在于关系与实体之间的表示，不仔细比较，不清楚不同的设计又什么不同的影响。
- 链接预测实验只能间接表面了低维嵌入的意义，难以解释嵌入过程中捕捉了哪些关系属性，以及捕捉程度。
因此本文：
- 提出整合现有模式的总体框架
[En]
propose a general framework to integrate existing models*
- 链接预测的实验评估更好
[En]
better experimental evaluation of link prediction*
挖掘逻辑规则。
-
Algorithm
实体表示：
x为one-hot高纬矢量，W为参数方程，f()为线性或非线性函数。
关系表示：
关系的表示通常反映在得分函数中，该函数通常被定义为线性、双线性或两个转换函数的组合：
[En]
The representation of the relationship is usually reflected in the scoring function, which is usually defined as a linear, bilinear, or combination of the two conversion functions:
几种模型的关系表示和评分函数：
[En]
The relational representation and scoring function of several models:
本文仅考虑最基本的双线性评分函数：
[En]
This paper only considers the most basic bilinear scoring function:
本文提出了将关系矩阵 𝑀𝑟 限制为对角矩阵(DistMult)，这样可以将双线性模型的参数量减少到与 TransE 相同。
损失函数：
; – Experiment
link prediction：
评价标准：https://www.cnblogs.com/shenxiaolin/p/9309749.html
- Mean Reciprocal Rank (MRR)
an average of the reciprocal rank of an answered entity over all test triplets .
- Mean Average Precision (MAP)
as used in (Chang et al., 2014)) as the evaluation metrics.
- NTN最复杂的模型，在实验中表现的最差，表明过拟合；
- 本文实现的TransE的实验结果比其原文的实验结果好，差异在于对梯度下降算法的选择，表明AdaGrad会更好；
- DistMult是双线性对角矩阵，是对双线性法的简化，但实验结果更好。
DIstADD -> TransE -> 加法操作
DistMULT -> Bilinear-diag -> 乘法操作
此外，还测试了不同初始化方法的效果。
[En]
In addition, the effects of different initialization methods were tested.
使用非线性的投影函数 tanh，并使用预训练词向量进行实体表示的初始化。在预测实体时，利用实体类型信息进行结果过滤。
嵌入模型很大程度上得益于外部文本的预训练。
[En]
The embedded model greatly benefits from the pre-training of external text.
Rule Extration：
规则提取是本文的一项重要工作。逻辑规则具有重要意义：
[En]
Rule extraction is an important work of this paper. Logical rules are of great significance:
- 可用于推断新事实进行 KB 补全；
- 优化数据存储，只存储逻辑规则比存储事实节省空间；
- 支持复杂推理；
- 为推断结果提供解释。
双线性模型比较复杂，在提取长路径关系方面有较好的优势。
[En]
The bilinear model is more complex, so it is better at extracting long-path relationships.
; – Conclusion
本文提出了 neural-embedding 的通用框架，并把 NTN、TransE 等模型套在框架里进行对比；提出了将关系矩阵限制为对角矩阵的 DistMult；并用 embedding-based 方法挖掘逻辑规则。
Original: https://blog.csdn.net/Jay98/article/details/123398757
Author: 懒狗的救赎
Title: DistMult 论文笔记
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/527639/
转载文章受原作者版权保护。转载请注明原作者出处！