Bridging Knowledge Graphsto Generate Scene Graphs
项目地址：https://github.com/alirezazareian/gbnet
摘要
场景图是解析图像内的强大表示，即他们的抽象语义元素，即，对象及其互动，这促进了视觉理解和解释的推理。 另一方面， 常识性知识图形是丰富的存储库，它编码了世界是如何构建的，以及一般概念如何互动。在本文中，我们给出了这两种构造的统一表述， 其中场景图被视为常识知识图的图像条件实例化。基于这一新的观点，我们将场景图的生成重新定义为场景和常识图之间的桥梁推理，其中场景图中的每个实体或谓词实例必须与常识图中相应的实体或谓词类相连接。为此，我们提出了一种新的基于图的神经网络，它在两个图之间和每个图内部迭代传播信息，并在每次迭代中逐步完善它们的桥梁。我们的图桥接网络，GB-Net，依次推断边和节点，允许同时开发和细化互连场景和常识图的丰富的异构结构。通过广泛的实验，我们展示了gb – net相对于最新方法的优越精度，从而达到了新的技术水平。我们公开发布了我们方法的源代码。
3 Problem Formulation
在本节中，我们首先将知识图的概念正式，特别是尤其是概述。 利用他们的相似之处，然后我们为桥接这些两种缩影来重构场景图一代的问题。
3.1 Knowledge graphs
我们将知识图定义为一组实体和谓词节点(NE,NP)，每个节点都有一个语义标签，以及一组来自预定义类型集的有向加权边。
- method
所提出的方法如图2所示.给定一幅图像，我们的模型首先应用Faster R-CNN[36]检测目标，并将其表示为场景实体(scene entity, SE)节点。它还为每对实体创建一个场景谓词(SP)节点，形成一个有待分类的场景图提议。给这个图形一个 背景常识图，每个图都有固定的内部连接，我们的目标是在连接每个实例(SE和SP节点)到其对应的类(CE和CP节点)的两个图之间创建桥边。为此，我们的模型通过将每个SE连接到符合Faster R-CNN预测的标签的CE来初始化实体桥，并通过具有专用消息传递参数的每一种边缘类型在所有节点之间传播消息。给定更新的节点表示，它计算每个sp节点和每个CP节点之间的成对相似度，并通过谓词桥找到最大的相似度对，将场景谓词连接到它们对应的类。。它还为实体节点做同样的工作，以潜在地完善它们的桥。给定了新桥，它将再次传播消息，并重复此过程的预定义步骤数。桥的最终状态决定了每个节点属于哪个类，从而产生输出场景图。
Original: https://blog.csdn.net/weixin_44892610/article/details/117337530
Author: Koihoo
Title: SGG Trans【Bridging Knowledge Graphsto Generate Scene Graphs】
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/558566/
转载文章受原作者版权保护。转载请注明原作者出处！