功能： 节点分类和图分类
空域 ： 空间上考虑图结构的模型，即考虑目标节点和其他节点的几何关系(有无连接)。
模型代表：GAT（Graph Attention Networks）图注意力模型
用注意力机制对邻近节点特征加权求和。邻近节点特征的权重完全取决于节点特征，独立于图结构。
（ 将 卷积神经网络 中的池化看成一种特殊的平均加权的 注意力机制 ，或者说注意力机制是一种具有对输入分配偏好的通用池化方法(含参数的池化方法）
图 1：图注意力网络示意图和更新公式
对于上述公式的一些解释：
- 公式（1）对 l 层节点嵌入
做了线性变换，W^((l)) 是该变换可训练的参数
- 公式（2）计算了成对节点间的原始注意力分数。它首先拼接了两个节点的 z 嵌入，注意 || 在这里表示拼接；随后对拼接好的嵌入以及一个可学习的权重向量 做点积；最后应用了一个 LeakyReLU 激活函数。这一形式的注意力机制通常被称为加性注意力，区别于 Transformer 里的点积注意力。
- 公式（3）对于一个节点所有入边得到的原始注意力分数应用了一个 softmax 操作，得到了注意力权重。
- 公式（4）形似 GCN 的节点特征更新规则，对所有邻节点的特征做了基于注意力的加权求和。
频域：
模型代表：GCN（Graph Convolutional Network ）图卷积网络
优点：省参数
缺点：不易作用于动态图
(对于同阶的邻域上分配给不同的邻居的权重是完全相同的（无法允许为邻居中的不同节点指定不同的权重)
一次图卷积操作包含对 邻节点特征的标准化求和：
其中 N(i) 是对节点 i 距离为 1 邻节点的集合。我们通常会加一条连接节点 i 和它自身的边使得 i 本身也被包括在 N(i) 里。
是一个基于图结构的标准化常数；
σ是一个激活函数（ GCN 使用了 ReLU）；
W^((l)) 是节点特征转换的权重矩阵，被所有节点共享。
由于 c_ij 和图的机构相关，使得在一张图上学习到的 GCN 模型比较难直接应用到另一张图上。
共同步骤：
- 加工 图邻接矩阵
- 对 图邻接矩阵特征分解，得到特征值，
- 核心区别（如何 收集并累和距离为 1 的邻居节点的特征表示 ）
- 将特征向量看作常数，而卷积核作用在特征值上
GAT 用注意力机制替代了图卷积中固定的标准化操作，将原本的 标准化常数替换为 使用注意力权重的邻居节点特征聚合函数。
多头注意力 (Multi-head attention)
神似卷积神经网络里的多通道，GAT 引入了多头注意力来丰富模型的能力和稳定训练的过程。每一个注意力的头都有它自己的参数。如何整合多个注意力机制的输出结果一般有两种方式：
以上式子中 K 是注意力头的数量。作者们建议对中间层使用拼接对最后一层使用求平均。
Original: https://blog.csdn.net/qq_28838891/article/details/122970087
Author: luemeon
Title: GNN（图神经网络）基本概念
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/717066/
转载文章受原作者版权保护。转载请注明原作者出处！