ICLR2022 GNN 图神经网络 论文阅读 (二) 泛读 (7-8)

论文列表

目前找了录用的一些有关于Graph或者GNN的文章,先过一遍各个文章的摘要,然后再花时间对觉得比较重要或者有趣的文章进行详细阅读。

ICLR2022 GNN 图神经网络 论文阅读 (二) 泛读 (7-8)

Paper7

ICLR2022 GNN 图神经网络 论文阅读 (二) 泛读 (7-8)
  • 任意的graph存在节点缺少标准位置信息的问题,会降低GNN的区分同构或者对称graphs的表达能力。
  • 一个解决方法就是Positional Encoding (PE),并将其嵌入到输入层,比如一个Transformer中。
  • 一个可行的PE方法就是Laplacian eigenvectors。
  • 我们方法将结构和位置表示解耦,这样GNN学习起来比较容易。
  • 我们提出了LSPE架构,并在几种sparse和FC(Transformer-like)的GNNs中进行了实验,在分子识别数据集上取得了1.79%-64.14%的性能提升。

; 实验

三个数据集上做的实验,看起来增加了不同的PE以后,绝大部分性能都得到了提升。

ICLR2022 GNN 图神经网络 论文阅读 (二) 泛读 (7-8)

分析

无论是带不带参数的PE,个人理解就是增加了graph的结构信息,虽然文章是将拓扑结构信息和PE信息解耦,并用不同的loss去学习,但是本质上来说,也相当于是引入了更多的graph结构的信息,只不过PE扩大了特征空间。自然地,用来区分图结构,分类问题,性能提升是理所当然了。

Paper8

ICLR2022 GNN 图神经网络 论文阅读 (二) 泛读 (7-8)

; 摘要简介

  • 主要目的是如何压缩超大图,并且压缩后的graph也是highly-informative,能够用于GNN的训练。
  • 作者提出了一种策略,通过模仿GNN的训练过程,同时对节点特征和结构信息进行压缩。
  • 在Reddit,Flickr,Citeseer三个经典的数据集上达到了 *99.9% 的压缩率,性能也在分别维持在 95.3%,99.8%,99.0%。

实验

这压缩效率确实猛啊。

ICLR2022 GNN 图神经网络 论文阅读 (二) 泛读 (7-8)
和别的baseline压缩算法进行对比,效果还是挺明显。
ICLR2022 GNN 图神经网络 论文阅读 (二) 泛读 (7-8)
用不同GNN去测试:
ICLR2022 GNN 图神经网络 论文阅读 (二) 泛读 (7-8)

; 分析

忍不住好奇看了眼方法:

ICLR2022 GNN 图神经网络 论文阅读 (二) 泛读 (7-8)
这个bi-level的优化问题定义还是比较清晰的。

Original: https://blog.csdn.net/bagba/article/details/123767980
Author: Bagba
Title: ICLR2022 GNN 图神经网络 论文阅读 (二) 泛读 (7-8)

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/692097/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球