EFFICIENT PROBABILISTIC LOGIC REASONING WITH GRAPH NEURAL NETWORKS（使用神经网络进行有效的概率逻辑推理）
介绍：
由于知识图谱存在不正确、不完整或者重复的数据，因此对知识图谱进行补全推理非常重要。文章使用了马尔科夫逻辑网络 Markov Logic Networks (MLNs)与图神经网络graph neural networks (GNNs)相结合进行基于知识图谱的变分推理，并且提出了GNN的变体，ExpressGNN。ExpressGNN在模型表达能力和简单性之间取得很好的平衡。
Markov Logic Networks (MLNs)：
马尔可夫逻辑网络结合了硬逻辑规则和概率图模型，可以应用于知识图谱的各种任务。逻辑规则结合了先验知识，允许MLNS在具有少量标记数据的任务中进行推广。图形模型为处理不确定性的数据提供了一个原则性的框架。然而，MLN中的推理是计算密集型的，通常在实体数量上呈指数增长，限制了真实世界的应用。逻辑规则只能覆盖知识图关系可能组合的一小部分，因此限制了纯基于逻辑规则的模型的应用。
Graph neural networks (GNNs)：
GNN有效地解决许多图相关的问题。GNN要求有足够的标签数据应用在特定的结束任务中来实现好的性能，然而知识图谱有长尾问题。这种长尾关系中的数据稀缺性问题对纯数据驱动的方法提出了严峻的挑战。
文章探索一种结合MLNs和GNN的数据驱动的并且可以利用编码在逻辑规则的先验知识的方法。文章设计了一种简单的图神经网络ExpressGNN，以有效地训练在变分EM框架下的MLN。
; 相关工作：
Statistical relational learning
Markov Logic Networks
Graph neural networks
Knowledge graph embedding
主要方法：
- 数据
知识图谱三元组K = (C，R，O)
实体集合C = （c1，…， cM）
关系集合R =（r1，…， rN）
可观察的事实集合O = （o1，…，oL）。
实体是常量，关系也叫谓词。每个谓词都是用C定义的逻辑函数。对于分配给参数的一组特定实体，谓词称为ground谓词。每个谓词有 ground predicate = a binary random variable。
ar = (c，c0), 则ground谓词 r(c， c0) 可表示为r(ar)
每个观察到的事实都用真值{0，1}表示并分配给ground predicate。
比如一个事实o 可以表示为 [L(c; c0) = 1]。
由于未观测到的事实比观察到的事实多得多，因此unobserved facts = latent variables
更清晰的表示，如下：
对于一个知识图谱K，用完全二部图表示GK = (C，O，E)，常量集合C，可观测事实O，边集E=（e1，…， eT），比如 边e = (c，o，i)，在结点c 和o之间存在。
与o相关的地谓词在第i个参数位置使用c作为参数，如图2的GK
马尔可夫逻辑网络使用逻辑公式来定义无向图形模型中的势函数。
一个逻辑公式的形式：
通过几个谓词的组合定义的二进制函数。
比如f(c， c0)可表示为
可观测的事实和为观测到的事实的联合概率分布：
KG and MLN的不同：KG稀疏，MLN稠密。
- EM最大期望算法
VARIATIONAL EM FOR MARKOV LOGIC NETWORKS
马尔可夫逻辑网络建立了所有观测变量和潜在变量的联合概率分布模型。这个模型可以通过最大化所有观察到的事实的对数似然来训练。直接最大化目标是很难的，因为它需要计算配分函数和整合所有H和O变量。因此，我们优化数据对数似然的变分证据下界(ELBO)，如下所示
- E步—-推理
增加一个有监督的学习目标来增强推理网络：
目标函数：
- M步—-学习
- ExpressGNN
; 实验：
参考文献：
Original: https://blog.csdn.net/qq_39634092/article/details/114374846
Author: kormoie
Title: EFFICIENT PROBABILISTIC LOGIC REASONING WITH GRAPH NEURAL NETWORKS
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/568825/
转载文章受原作者版权保护。转载请注明原作者出处！