本文由 2021 年实习的筱原航平投稿。
英文版可在此处获得。
介绍
我是参加2021年暑期实习的京都大学筱原晃平。在本文中，我将解释我在“考虑电荷转移的神经网络潜力”主题下所做的工作。
实现在此处发布。
此外，这里还上传了主题内容的幻灯片。
PFN 2021 年暑期实习 / Kohei Shinohara：来自首选网络的神经网络潜力中的电荷转移建模
背景
在材料开发和研究领域，基于密度泛函理论 (DFT) 的计算被广泛用于在原子尺度上进行材料模拟。DFT计算通过求解薛定谔方程来计算物质的电子状态和能量，众所周知，它可以在许多材料系统中进行高精度预测。另一方面，DFT 计算在计算时间上是昂贵的，并且在执行大规模或长期模拟方面存在挑战。
近年来，人们积极研究一种称为神经网络电位（NNP）[1]的方法来解决这个问题。NNP是将大量DFT计算的输出作为数据集在神经网络(NN)中预测的方法，作为具有与DFT计算接近的计算精度的方法而受到关注和高速预测…… NNP也是PFN和ENEOS于2021年联合成立的Preferred Computational Chemistry推出的通用原子能级模拟器Matlantis的核心技术。
然而，有些材料系统很难用传统的 NNP 预测。通常，NNP 通过仅考虑相邻原子对每个原子的贡献来缩短计算时间。然而，这种方法给不能忽略长距离相互作用的材料系统留下了问题。需要考虑长距离相互作用的系统包括物质表面的催化剂和离子晶体。这种长程相互作用在物理上源自原子之间的电荷转移[6]。因此，在过去的几年中，对考虑电荷转移的 NNP 进行了研究[2-5]。
第四代 Behler-Parrinello 神经网络电位（4G-HDNNP，以下简称 4G-BPNN）[4] 就是将这些电荷转移考虑在内的 NNP 的典型例子。本文报告说，通过将 NN 与称为 Qeq 的经典电荷转移方法（稍后描述）相结合，可以提高预测精度。另一方面，4G-BPNN是一种基于多层感知器（MLP）的模型，这些提出的方法在近几年成为NNP主流的图神经网络（GNN）中效果如何，目前还不清楚。因此，在本次实习中，我们基于 GNN 实现了 4G-BPNN 中提出的方法，并验证了其效果。
手法
接下来，我将介绍作为实现基础的 GNN，计算静电相互作用项以捕捉长程相互作用，并解释称为电荷平衡的电荷预测方法。有关详细信息，请参阅幻灯片和参考资料。
基于 GNN 的 NNP
图 1：NequIP 概述（引自 [7]）。
神经等变原子间电位 (NequIP) [7]（pytorch 实现 [8]）被用作 NNP 的基线模型（图 1）。NequIP 是一个基于 GNN 的模型，其中卷积层根据其邻居更新每个原子的描述符。此外，NNP 要求当平移/旋转操作应用于输入结构时输出是不变的，但 NequIP 保证模型本身的不变性。这样的模型称为 SE (3) - 等变网络 [9, 10]。
静電相互作用項
为了计算长程相互作用的能量，根据 GNN 得到的每个原子的描述符预测电荷，并根据电荷计算静电相互作用（下式）[4]。
和还有_ _({问一世})=1214π _ε0∫∫ρ ( r ) ρ (r′)| r –r′|dr dr′
关于电荷预测，我们研究了直接从每个原子的描述符进行预测的方法以及使用下一节介绍的 Qeq 进行预测的方法。
此外，如果输入结构是晶体等周期系统，则需要使用 Ewald summation [11-13] 等特殊方法来计算静电相互作用项。目前，我找不到 Ewald summation 的 pytorch 实现，所以我这次重新实现了它。
电荷平衡
4G-BPNN [4] 及其前身 CENT [2] 使用称为电荷平衡 (Qeq) [14, 15] 的经典方法来预测电荷。Qeq 通过以下等式描述了电荷对能量的贡献
和Qeq({问j})=和还有_ _({问j})+∑一世(χ一世问一世+12Ĵ一世问2一世)
建模为，并最小化。将 Qeq 与NN 结合时，NN 会预测计算所需的参数，例如和和Qeq问一世χ一世Ĵ一世和Qeq
从实现的角度来看，Qeq 导致找到线性方程组的解。在pytorch实现中，可以使用torch.linalg.solve来实现，利用自动微分，可以避免线性方程组解微分等复杂实现。
结果与讨论
图2：作用在每个原子上的力的预测精度比较
图 2 显示了学习 NNP 对4G-BPNN 论文中使用的数据集（参见幻灯片p9 ）和预测作用在每个原子上的力的准确性。纵轴表示预测精度，数值越小，精度越高。绿色虚线为4G-BPNN (MLP + Qeq)，蓝色为baseline GNN，橙色为GNN，直接预测电荷并修正静电相互作用项。静电相互作用项。
关于预测电荷的方法，通过 Qeq（绿色）预测电荷比直接从每个原子的描述符（橙色）预测电荷更准确。这在 4G-BPNN 论文中往往有报道，即使在 GNN 中，也很难解决仅用局部信息预测电荷的任务，并且认为 Qeq 等考虑整个结构的方法是有效的. 增加。
另一方面，对于 Ag 集群以外的数据集，我们发现首先不考虑基线电荷的模型是最准确的。此外，基线精度都优于 4G-BPNN。在 MLP 中，只能考虑某个截止半径内的原子，并且认为电荷预测和静电相互作用校正对于考虑超出该部分的部分是有效的。另一方面，在 GNN 中，可以通过重叠卷积层来扩大有效截止半径，并且认为 GNN 侧已经吸收了本次使用的数据集中静电相互作用项的影响。很难考虑 Ag 簇的数据集，但我认为通过包含静电相互作用项可以提高模型的表达能力并提高预测精度。
摘要/致谢
在本次实习中，我们实现了一种在原子尺度上捕捉材料模拟中电荷转移效应的方法，并在基于 GNN 的 NNP 中验证了该效应。结果表明，在基于 MLP 的 NNP 中有效的方法不能原样用于 GNN，但使用称为 Qeq 的经典方法本身有助于提高电荷预测的准确性。
从主题启动到实验只有短短一个半月的时间，但多亏了中乡导师、林副导师等材料探索团队的慷慨支持，才变成了充实的实习。 . 最后但同样重要的是，我想借此机会感谢您。
参考文献
[1] Jörg Behler 和 Michele Parrinello，高维势能表面的广义神经网络表示，[Phys.] 牧师莱特。98, 146401 (2007)]( https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.98.146401 )。
[2] S. Alireza Ghasemi、Albert Hofstetter、Santanu Saha 和 Stefan Goedecker，基于神经网络获得的电荷密度的具有密度泛函精度的离子系统的原子间势，[Phys。Rev. B 92, 045131 (2015)]( https://journals.aps.org/prb/abstract/10.1103/PhysRevB.92.045131 )。
[3] 登志、陈志、李向国和 Shyue Ping Ong，氮化锂的静电光谱邻域分析电位，[Npj 计算机。母校。5, 75 (2019)]( https://www.nature.com/articles/s41524-019-0212-1 )。
[4] Tsz Wai Ko、Jonas A. Finkler、Stefan Goedecker 和 Jörg Behler，具有精确静电的第四代高维神经网络电位，包括非局部电荷转移，[Nat. 交流。12, 398 (2021)]( https://www.nature.com/articles/s41467-020-20427-2 )。
[5] Oliver T. Unke、Stefan Chmiela、Michael Gastegger、Kristof T. Schütt、Huziel E. Sauceda 和 Klaus-Robert Müller，SpookyNet：具有电子自由度和非局部效应的学习力场，[arXiv:2105.00304]（https://arxiv.org/abs/2105.00304）。
[6] Anthony Stone，[分子间力理论](https://global.oup.com/academic/product/the-theory-of-intermolecular-forces-9780199672394?cc=jp&lang=en&)（牛津大学出版社，牛津大学，2013 年）。
[7] Simon Batzner、Albert Musaelian、Lixin Sun、Mario Geiger、Jonathan P. Mailoa、Mordechai Kornbluth、Nicola Molinari、Tess E. Smidt 和 Boris Kozinsky，SE(3)-Equivariant Graph Neural Networks for Data-Efficient and Accurate原子间势，[arxiv:2101.03164]( https://arxiv.org/abs/2101.03164 )。
[8] https://github.com/mir-group/nequip
[9] Nathaniel Thomas、Tess Smidt、Steven Kearnes、Lusann Yang、Li Li、Kai Kohlhoff 和 Patrick Riley，张量场网络：3D 点云的旋转和平移等变神经网络，[arXiv:1802.08219]（https： //arxiv.org/abs/1802.08219）。
[10] https://e3nn.org/
[11] http://micro.stanford.edu/mediawiki/images/4/46/Ewald_notes.pdf
[12] Todd R.Gingrich 和 Mark Wilson，关于用于模拟金属表面的高斯电荷的 Ewald 求和，[Chem。物理。莱特。500, 1-3, 10 (2010)]( https://www.sciencedirect.com/science/article/abs/pii/S0009261410013606?via%3Dihub )。
[13] Péter T Kiss、Marcello Sega 和 András Baranyai，高斯电荷分布的有效处理：可极化分子模型的应用，[J. 化学。理论计算。10, 12 (2014)]( https://pubs.acs.org/doi/10.1021/ct5009069 )。
[14] Anthony K. Rappe 和 William A. Goddard III，分子动力学模拟的电荷平衡，[J. 物理。化学。95, 8, 3358-3363 (1991)]( https://pubs.acs.org/doi/pdf/10.1021/j100161a070 )。
[15] Christopher E. Wilmer、Ki Chul Kim 和 Randall Q. Snurr，扩展电荷平衡方法，[J. 物理。化学。莱特。3, 17, 2506-2511 (2012)]( https://pubs.acs.org/doi/10.1021/jz3008485 )。
