E(n)等变图神经网络

E(n) Equivariant Graph Neural Networks (EGNNs)

一种新模型学习图神经网络,其对旋转、平移、反射、置换等变,不需要在中间层中计算昂贵的高阶表示。尽管现有方法仅限于三维空间上的等变,但我们的模型很容易扩展到高维空间。我们的方法在动态系统建模、图形自动编码器中的表示学习和预测分子性质方面的有效性。

深度学习许多进步在很大程度上依赖于深度神经网络中的诱导/归纳偏差(inductive biases).将神经网络限制为相关函数的一种有效方法是利用问题的对称性,通过对来自某个对称群的变换执行等变来实现。(有限集合上全体置换组成的群,称为对称群)例子是卷积神经网络中的平移等变和图形神经网络中的置换等变。

许多问题表现出三维平移和旋转对称性。与这些对称性相对应的群被称为欧几里德群:SE(3)或当包含反射时E(3)。对于E(3)变换,人们通常希望对这些任务的预测要么是等变的,要么是不变的。人们提出了实现E(3)或SE(3)等变的各种形式和方法。其中许多工作在研究中间网络层的高阶表示类型方面实现了创新。然而,这些高阶表示的变换需要系数或近似值,计算起来可能很昂贵。在实践中,对于许多类型的数据,输入和输出仅限于标量值(例如温度或能量,在文献中称为0型)和3d矢量(例如速度或动量,在文献中称为1型)。

我们提出了一种新的结构,即平移、旋转和反射等变(E(n)),以及相对于输入点集的置换等变。因为它不需要像(Thomas等人,2018年;Fuchs等人,2020年)中那样的球谐函数,但仍然可以获得竞争性或更好的结果。此外,我们的模型中的等变不限于三维空间,并且可以在不显著增加计算量的情况下缩放到更大的三维空间。

我们评估了我们在动态系统建模、图形自动编码器中的表示学习以及在QM9数据集中预测分子性质方面的方法。

E(n)等变图神经网络

E(n)等变图神经网络

E(n)等变图神经网络

E(n)等变图神经网络

E(n)等变图神经网络

E(n)等变图神经网络

E(n)等变图神经网络

E(n)等变图神经网络

E(n)等变图神经网络

E(n)等变图神经网络

E(n)等变图神经网络

对提出的方法提出了一个小小的修改,这样我们就可以明确地跟踪粒子的动量。不仅有助于获得粒子在每一层的速度估计值,还可用于在不为0的情况下提供初始速度值。可以将动量加入到我们提出的方法中,只需将我们模型的方程式4替换为以下方程式:

E(n)等变图神经网络

E(n)等变图神经网络

E(n)等变图神经网络

E(n)等变图神经网络

Original: https://blog.csdn.net/stranger_Ss/article/details/124346432
Author: stranger_Ss
Title: E(n)等变图神经网络

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/689011/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球