A practical guide to machine learning interatomic potentials – Status and future
Current Opinion in Solid State and Materials Science 35 (2025) 101214
期刊主页:www.elsevier.com/locate/cossms
作者
Ryan Jacobs a,*, Dane Morgan a,*, Siamak Attarian a, Jun Meng a, Chen Shen a, Zhenghao Wu a,c, Clare Yijia Xie c, Julia H. Yang b,c, Nongnuch Artrith d, Ben Blaiszik e,f, Gerbrand Ceder g,h, Kamal Choudhary i, Gabor Csanyi j, Ekin Dogus Cubuk k, Bowen Deng g,h, Ralf Drautz l, Xiang Fu m, Jonathan Godwin n, Vasant Honavar o,p,q,r, Olexandr Isayev s,t, Anders Johansson c, Boris Kozinsky c, Stefano Martiniani u,v,w, Shyue Ping Ong x, Igor Poltavsky y, KJ Schmidt e,f, So Takamoto z, Aidan P. Thompson aa, Julia Westermayr ab, Brandon M. Wood m
a 材料科学与工程系,威斯康星大学麦迪逊分校,Madison, WI 55705, 美国 b 哈佛大学环境中心,哈佛大学,Cambridge, MA 02138, 美国 c John A. Paulson 工程与应用科学学院,哈佛大学,Cambridge, MA 02138, 美国 d 材料化学与催化,Debye 纳米材料科学研究所,乌得勒支大学,Utrecht 3584 CG, 荷兰 e Globus,芝加哥大学,Chicago, IL, 美国 f 数据科学与学习部,阿贡国家实验室,Lemont, IL, 美国 g 材料科学与工程系,加州大学伯克利分校,CA 94720, 美国 h 材料科学部,劳伦斯伯克利国家实验室,CA 94720, 美国 i 材料测量实验室,美国国家标准与技术研究院,Gaithersburg, MD 20899, 美国 j 工程系,剑桥大学,Cambridge CB2 1PZ, 英国 k Google DeepMind,Mountain View, CA, 美国 l 先进材料模拟跨学科中心 (ICAMS),鲁尔大学波鸿分校 44780 Bochum, 德国 m Meta 基础人工智能研究部 (FAIR),美国 n Orbital Materials,London, England, 英国 o 计算机科学与工程系,宾夕法尼亚州立大学,University Park, PA, 美国 p 信息科学与技术学院,宾夕法尼亚州立大学,University Park, PA, 美国 q 人工智能研究实验室,宾夕法尼亚州立大学,University Park, PA, 美国 r 人工智能基础与科学应用中心,宾夕法尼亚州立大学,University Park, PA, 美国 s 化学系,Mellon 理学院,卡内基梅隆大学,Pittsburgh, PA 15213, 美国 t 计算生物学系,计算机科学学院,卡内基梅隆大学,Pittsburgh, PA 15213, 美国 u Courant 数学科学研究所,纽约大学,New York, NY 10003, 美国 v 软物质研究中心,物理系,纽约大学,New York, NY 10003, 美国 w Simons 计算物理化学中心,化学系,纽约大学,New York, NY 10003, 美国 x Aiiso Yufeng Li 家族化学与纳米工程系,加州大学圣地亚哥分校,9500 Gilman Dr. Mail Code #0448, La Jolla, CA 92093, 美国 y 物理与材料科学系,卢森堡大学 L-1511 Luxembourg, 卢森堡 z Preferred Networks, Inc.,Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo 100-0004, 日本 aa 计算研究中心,桑迪亚国家实验室,Albuquerque, New Mexico 87185 ab Wilhelm-Ostwald 物理与理论化学研究所,莱比锡大学,德国 ac 化学与材料科学系,西交利物浦大学,苏州 215123,江苏,中国
* 通讯作者。 电子邮件地址:rjacobs3@wisc.edu (R. Jacobs)、ddmorgan@wisc.edu (D. Morgan)。
https://doi.org/10.1016/j.cossms.2025.101214 收稿日期:2025 年 1 月 9 日;接受日期:2025 年 1 月 13 日 在线发布日期:2025 年 2 月 26 日 1359-0286/© 2025 Elsevier Ltd. 保留所有权利,包括文本与数据挖掘、AI 训练及类似技术的权利。
摘要
机器学习原子间势 (machine learning interatomic potentials, MLIPs) 的快速发展以及庞大的文献体量,可能使那些并非专家但希望使用这些工具的研究人员难以知道该如何着手。本综述的宗旨是通过充当一份关于 MLIP 前沿技术的实用、易于理解的指南来帮助此类研究人员。本综述论文涵盖了与 MLIP 相关的广泛主题,包括:(i) MLIP 如何以及为何成为分子建模领域诸多激动人心的进展的推动者,其核心方面;(ii) 不同类型 MLIP 的主要基础,包括其基本结构与形式体系;(iii) 通用 MLIP 对有机和无机体系的潜在变革性影响,包括对这一新兴 MLIP 类别的最新进展、能力、缺点及潜在应用的概述;(iv) 一份用于估计和理解 MLIP 执行速度的实用指南,包括基于硬件可用性、所用 MLIP 类型以及预期模拟规模和时长的用户指引;(v) 一份关于用户针对给定应用应选择何种 MLIP 的手册,其考虑因素包括硬件资源、速度要求、能量与力的精度要求,以及选择预训练势或从零开始拟合新势的指引;(vi) 围绕 MLIP 基础设施的讨论,包括训练数据来源、预训练势以及用于训练的硬件资源;(vii) 对当前 MLIP 一些关键局限性以及缓解这些局限性的现有方法的总结,包括纳入长程相互作用的方法、磁性体系的处理以及激发态的处理;最后,(viii) 我们以一些更具推测性的思考收尾,探讨未来 3–10 年以上 MLIP 的发展与应用前景。
1. 引言
本文的灵感来源于 2023 年 7 月 17–19 日在线举办的研讨会"机器学习势 —— 现状与未来 (Machine Learning Potentials – Status and Future, MLIP-SAFE)"。它体现了我们认为对更广泛的材料科学和化学界特别有意义的一些精选主题和关键要点。机器学习原子间势 (MLIPs,有时也称为机器学习力场 MLFFs) 的快速发展以及庞大的文献体量,可能使那些并非专家但希望使用这些工具的研究人员难以知道该如何着手。本文的宗旨是通过充当一份关于 MLIP 前沿技术的实用、易于理解的指南来帮助此类研究人员。我们力求将深奥的数学和形式体系降至最低,因为这些细节可以在其他优秀的综述及其所引文献中轻易找到。[1–9] 相反,我们认为,关于 MLIP 总体格局的指引——它们的实际使用、权衡取舍、针对特定问题的利弊、耗时,以及如何着手运行它们——仍然难以从文献中学到。我们注意到,Ko 和 Ong 最近发表的一篇评论 (Comment) 以及 Duignan 的一篇观点文章 (Perspective) 都强调了本综述所述的许多相同主题,[10,11] 尽管更为简略且层次更高,因此我们认为本工作可作为对当前 MLIP 状况从实用视角进行的一次补充性的、更深入的考察。我们的目标读者是具备技术素养、拥有分子建模背景但并非 MLIP 专家的材料科学家和化学家。因此,我们不讨论诸如基函数展开之类的技术细节,但会提供关于如何理解各方法之间宏观差异 (例如原子团簇展开 (atomic cluster expansion, ACE) 与图神经网络 (graph neural networks, GNNs)) 以及使用不同方法的收益与权衡的指引。本文将提供一份高层次的指南,涵盖理解 MLIP 格局所需的关键基础方面,包括它们巨大的潜在应用范围、通用框架、典型工作流 (包括拟合和/或使用预拟合的 MLIP)、速度与精度、支撑性基础设施,以及一些关于 MLIP 选择的指引。
本综述论文涵盖与 MLIP 相关的广泛主题,其组织结构如下。在第 2 节中,我们提供了本综述中讨论的 MLIP 列表,包括它们的缩写以及原始工作的关键参考文献。在第 3 节中,我们概述了 MLIP 如何以及为何成为分子建模领域诸多激动人心进展的推动者,其核心方面。在第 4 节中,我们讨论了不同类型 MLIP 的主要基础,包括其基本结构与形式体系 (第 4.1 节)、使用原子环境显式特征化方法的 MLIP 与利用图神经网络的隐式方法之间的差异 (第 4.2 节),以及分别在第 4.3 节和第 4.4 节中对显式与隐式方法更具体的细节讨论。在第 5 节中,我们强调了通用 MLIP (U-MLIPs) 对有机和无机体系的潜在变革性影响,包括对这一新兴 MLIP 类别的最新进展、能力、缺点及潜在应用的概述。在第 6 节中,我们提供了一份用于估计和理解 MLIP 执行速度的实用指南,包括基于硬件可用性、所用 MLIP 类型以及预期模拟规模和时长的用户指引。接下来,第 7 节充当一份实用手册,说明用户针对给定应用应选择何种 MLIP,其考虑因素包括硬件资源 (第 7.1 节)、速度要求 (第 7.2 节)、能量与力的精度要求 (第 7.3 节),以及选择预训练势 (第 7.4 节) 和从零开始拟合新势 (第 7.5 节和第 7.6 节) 的指引。第 8 节的讨论围绕 MLIP 基础设施展开,包括训练数据来源、预训练势以及用于训练的硬件资源。第 9 节总结了当前 MLIP 的一些关键局限性以及缓解这些局限性的现有方法,包括纳入长程相互作用的方法、磁性体系的处理以及激发态的处理。最后,我们在第 10 节中以一些更具推测性的思考作结,探讨未来 3–10 年以上 MLIP 的发展与应用前景。
2. MLIP 列表
在下文的讨论中,我们经常以缩写来指代 MLIP。为帮助厘清这些 MLIP 的含义及恰当的引用来源,我们在此汇总本文所讨论的 MLIP 的名称、缩写和标准引文。请注意,这并不意在充当现有 MLIP 的详尽列表。
- 分子能量精确神经网络引擎 (Accurate NeurAl networK engINe for Molecular Energies, ANAKIN-ME,简称 ANI):[12]。
- Allegro:[13]。
- 原子团簇展开 (Atomic Cluster Expansion, ACE):[14]。
- 原子能量网络 (Atomic Energy Network, ænet):[15,16]。
- 基于原子线图神经网络的力场 (Atomistic Line Graph Neural Network-based Force Field, ALIGNN-FF):[17]。
- 分子中的原子网络 2 (Atoms-In-Molecules Network 2, AIMNet2):[18]。
- Behler-Parrinello 神经网络 (Behler-Parrinello Neural Network, BP-NN 或 BP)[19]。
- 晶体哈密顿图神经网络 (Crystal Hamiltonian Graph Neural Network, CHGNet)[20]。
- 深度分子动力学 (Deep Molecular Dynamics, DeepMD):[21,22]。
- 元素空间密度神经网络力场 (Elemental Spatial Density Neural Network Force Field, Elemental-SDNNFF):[23]。
- EquiformerV2-OMAT24:[24]。
- 原子稀有事件快速学习 (Fast Learning of Atomistic Rare Events, FLARE):[25]。
- 高斯近似势 (Gaussian Approximation Potential, GAP):[26]。
- 基于图的预训练 Transformer 力场 (Graph-based Pre-trained Transformer Force Field, GPTFF):[27]。
- 面向材料探索的图网络 (Graph Networks for Materials Exploration, GNoME):[28]。
- 图原子团簇展开 (Graph Atomic Cluster Expansion, grACE):[29]。
- Mattersim:[30]。
- 带消息传递的 ACE (ACE with message passing, MACE):[31]。
- MACE 基础模型 (MACE foundation model, MACE-MP-0):[32]。
- 面向有机物的 MACE-OFF23 势 (MACE-OFF23 potential for organics, MACE-OFF23):[33]。
- 矩张量势 (Moment Tensor Potential, MTP):[34]。
- 神经等变原子间势 (Neural Equivariant Interatomic Potential, NequIP):[35]。
- Orb:[36]。
- 优选势 (PreFerred Potential, PFP):[37]。
- 可扩展等变使能神经网络 (Scalable EquiVariance-Enabled Neural NETwork, SevenNet):[38]。
- SchNet:[39]。
- 谱近邻分析势 (Spectral Neighbor Analysis Potential, SNAP):[40]。
- 三体材料图网络 (Three-body Materials Graph Network, M3GNet):[41]。
- 超快力场 (Ultra-Fast Force Fields, UF3) 势:[42]。
3. 是什么让 MLIP 如此令人兴奋?
在本文中,我们将 MLIP 定义为这样一个函数:它以一组具有位置 ${x_i, y_i, z_i}$ (可选地包括一组周期性晶格矢量) 和元素类型 ${n_i}$ 的原子作为输入,并将该原子构型映射到这组原子 $i$ 的总能量 $E$。因此 MLIP 充当一个势能面 (potential energy surface, PES) 函数。MLIP 通常还提供力 (以及在具有周期性边界条件情形下的应力),它们是 MLIP 所生成 PES 的空间导数。力和应力通常可通过一个可从 MLIP 得到的解析导数表达式获得,无需对 $E{x_i, y_i, z_i}$ 进行数值微分。我们注意到,当前一些表现最佳的 MLIP 是分别在能量和力上训练的,并且在力不是通过对 PES 求导直接计算这一意义上是非保守的[24,30,36]。MLIP 的目的是使材料性质能够被高效计算,通常借助分子动力学 (molecular dynamics, MD),用于从理解和预测化学反应、到设计更强的金属合金、再到开发更有效的药物等无数应用。我们注意到,此处我们将"材料"定义为任何原子的集合,从晶体到气体再到分子。在本工作中,只要一个模型能够提供能量及其梯度,并且该模型能够执行 MD 模拟,我们就认为它是一个 MLIP。
从历史上看,材料的原子尺度模拟一直被划分为两种截然不同的方法。一方面,从头算分子动力学 (ab initio molecular dynamics, AIMD) 实现了对少量原子的高精度模拟,为最小尺度上材料的结构、热力学和输运性质提供了丰富的洞见。另一方面,采用基于物理的势 (physics-based potentials, PBPs) 的经典分子动力学模拟使研究人员能够定性地研究原子相互作用如何在大得多的尺度上驱动多样化现象的涌现。长期以来,这两种方法彼此脱节。AIMD 无法达到观测许多具有科学意义现象所需的尺度,而基于 PBP 的 MD 则无法为任何特定材料提供足够准确的表示。MLIP 的出现通过弥合这一脱节,彻底革新了原子尺度模拟的实践。通过利用大规模并行计算资源和诸如 LAMMPS 之类的灵活并行模拟框架,[43] 现在已有可能以接近 AIMD 的精度直接模拟特定材料中的大尺度涌现现象。
MLIP 与传统 PBP 的不同之处在于,MLIP 采用一种高度灵活的方式来表示 PES 函数 (例如神经网络),这通常取自机器学习 (machine learning, ML) 社区。相比之下,PBP 使用由物理直觉指导的高度受限的函数形式 (例如 Lennard-Jones 势或 Born-Meyer 势)。PBP 与 MLIP 的分类多少有些任意且不精确,因为在两个极端之间实际上存在一个连续谱:一端是从物理推导出的、几乎没有拟合参数的函数形式 (纯 PBP),另一端是几乎没有任何直觉指导的纯数值拟合 (纯 MLIP)。图 1 提供了构建 PBP 和 MLIP 的不同一般方法的概览。从物理这一端出发,PBP 可以引入越来越灵活的函数以变得更像 ML 模型,例如嵌入原子方法 (Embedded Atom Method, EAM) 势中对成对相互作用采用的那些非常灵活的形式。[44,45] 反过来,从纯 ML 一端出发,MLIP 也可以通过在 PES 表示中引入基于物理动机的项而变得更像 PBP,例如加入 Ziegler-Biersack-Littmark 排斥相互作用以确保原子在彼此靠近时不会表现出非物理行为,这在若干 MLIP 训练软件包中都可以实现。[21,22,46] 此外,许多中间方法也是可能的,例如 Mishin 的综述中所讨论的那些。[4] 在此,我们将遵循标准惯例,将任何使用传统 ML 特征化或建模方法的势称为 MLIP。
MLIP 相对于 PBP 具有优势,因为其灵活的函数形式基本上可以拟合任意复杂的原子尺度势能景观。我们注意到,所谓"能量景观"是指基态 Born-Oppenheimer 面,这通常由从头算计算产生。MLIP 相对于 PBP 的主要劣势之一是,MLIP 需要大量训练数据来学习体系的物理。然而,随着从头算数据持续变得更加丰富、更加准确、更易获取,并在公开可用的数据库中标准化 (例如 Materials Project 中包含的 MPtrj 数据库[20] 以及 Meta 发布的 Open Materials 24 (OMAT24) 数据库[24]),MLIP 对训练数据的高需求变得越来越容易满足,这使 MLIP 相对于 PBP 具有显著且不断增长的优势。我们可以把今天的 MLIP 看作传统 PBP 的改进版本,但具有更高的精度和更大的灵活性以建模复杂体系,代价是更高的计算成本 (取决于所用 MLIP 的类型)。非常灵活且准确的 PBP 函数形式往往难以开发,因为其构建需要大量的领域专业知识和物理洞察力。
在使用 MLIP 时,必须指出的是,相较于 PBP,其在精度和可建模的不同元素数量方面的提升幅度之大,使得 MLIP 的引入看起来更像是革命性的而非演进性的。PBP 中基于物理的函数形式,尽管极具巧思,却几乎总是不具备足够的复杂度来定量建模相互作用原子在所有关注条件下的必要行为,而这些条件往往涉及成键和电荷态的诸多复杂变化。相比之下,只要有足够的训练数据,现代 MLIP 就能捕捉许多关注的化学变化。我们要强调的是,MLIP 在任何特定方面并非存在根本性限制,例如仅限于金属体系或离子体系,或仅限于非反应性或化学反应性过程。虽然对 MLIP 的新手而言这是一个不错的初步视角,但当前 MLIP 的能力确实存在一些约束,我们在第 9 节中列举了 MLIP 当前的一些主要局限性。那些以往对确定 PBP 的形式与适用性往往至关重要的区分,例如有机物与无机物、断键/反应性与非反应性、金属键与离子键与共价键,对于 MLIP 是否适用往往并不特别重要。此外,MLIP 的精度通常在每原子几到几十 meV 的量级,这往往比典型的 PBP 好一个数量级。[1,48] 另外,MLIP 易于迭代改进,如果它们表现出不理想的误差,可以通过添加更多训练数据来修正。[49] 虽然有时 PBP 也可以迭代改进,但这样做比改进 MLIP 更困难,因为不只是提供更多样化的训练数据,可能还需要对底层函数形式作出更根本的改变,而要正确做到这一点需要大量专业知识。最后,具有优异测试误差的 MLIP 相当容易拟合 (对于一个包含少数几种元素的体系,对具备必要技能的研究生而言通常只需数天到几个月),并且优质的预训练势——包括那些覆盖化学空间和结构空间大部分区域的势——正变得广泛可得,例如近期通用 MLIP (U-MLIPs) 的发展所展现的那样 (见第 5 节)。鉴于 MLIP 的所有这些优势,似乎有可能对于大多数体系而言,MLIP 都将足够容易训练,以至于它们在只需要力和能量的应用中或许可以至少部分替代从头算计算。即便只是部分替代从头算计算,也将极大加速许多类型的分子建模,其中一个突出的例子是,基于量子力学的 AIMD 可能几乎完全被 MLIP MD 所取代。这种以 MLIP MD 取代 AIMD (在几何优化方面同理) 将使得以往用 AIMD 研究的相似时间和长度尺度能够以少几个数量级的计算时间获得。这样的效率提升是一项重要的变革,因为从头算模拟所耗费的计算时间中有相当一部分用于运行 AIMD (例如,最近某一年英国学术界高性能计算约有 40% 用于 DFT 计算,其中大部分是 AIMD)。或许更重要的是,MLIP MD 的使用将带来相对 AIMD 而言可达长度和时间尺度上数个数量级的增益,从而使得研究 AIMD 无法企及的新物理区间成为可能。越来越多的证据表明,我们将能够开发出定量的 U-MLIP,类似于计算机视觉和语言机器学习中的基础模型,它们可以直接地、或经过一定的微调后,在几乎任何化学体系上以百万至十亿原子的规模、以及微秒或更长的时间尺度,几乎即时地提供量子力学精度。[20,28,32,41] 因此,MLIP 可能极大地增强分子模拟的能力,对化学、生物学、材料科学与工程、物理学以及许多其他学科产生重大影响。当今所需的理解、方法和工具已经具备,足以使非专家将 MLIP 应用于实际问题,并且有理由预期在未来几年内其在众多科学领域的使用将呈爆发式增长。然而,要充分实现 MLIP 的全部潜力仍存在重大挑战,包括改进最佳的特征与架构、开发最优的训练策略、寻找纳入额外物理 (例如长程相互作用) 的途径、扩展到通用势,以及为许多复杂的关注体系成功开发和采用势函数。
图 1. 生成 (a) 基于物理的势和 (b) 基于机器学习的势的方法概览。经许可改编自文献 [47]。
4. 理解 MLIP 的类型 —— 基本形式体系
在本节中,我们讨论 MLIP 背后的基本形式体系。本讨论的目标是提供一种定性的描述,以帮助引导用户理解哪些方面控制着用户所关心的关键属性,这些属性包括:(1) MLIP 训练中人力与计算方面的限制,(2) MLIP 的执行速度,(3) MLIP 的精度,(4) MLIP 的易用性,以及 (5) 某个 MLIP 对特定问题的适用性。关于 MLIP 形式体系的详细数学描述可以在许多其他综述中找到。[1–9] 本节提供 MLIP 基本构造的高层次概览 (第 4.1 节)、通过特定函数形式显式特征化原子位置所创建的 MLIP 的构造与使用场景的讨论 (第 4.3 节)、通过图神经网络方法隐式特征化所创建的 MLIP 的构造的讨论 (第 4.4 节)、这两种方法之间的一般差异 (第 4.2 节),以及最后这两种方法统一为单一总括性 MLIP 框架 (第 4.5 节)。我们要强调,本节的撰写反映了不同 MLIP 形式体系的历史发展,我们在其中讨论各种方法之间的差异,我们认为这准确刻画了直到最近该领域对 MLIP 发展的思考方式。然而,先前被认为存在于各种 MLIP 形式体系之间的这些差异,似乎正在坍缩为单一的总括性形式体系,我们将在以下各小节中更详细地讨论这一点。
4.1. MLIP 的基本结构
几乎所有的 MLIP 都具有相同的定性结构,尽管实现细节因 MLIP 类型而异。这一结构背后的思想是,为了在 MLIP 中使用,所有原子的局域环境都必须由某组数字或特征来表示,我们将其称为原子环境特征化 (atomic environment featurization, AEF)。在图 1B 中,这被描述为"局域结构参数"。AEF 的构建方式使其能够表示为一组数量可控的数字,然后将该特征化输入到一个回归模型中。模型的潜在精度取决于这些特征和模型能在多大程度上捕捉局域环境,并且一般而言,更大的特征集能够更好地捕捉环境 (这有时被称为 AEF 更具"表达力")。
4.2. 显式 MLIP 与隐式 MLIP
确定如何清晰地对不同的 MLIP 方法进行分类是具有挑战性的。这一复杂性源于研究人员处理 MLIP 开发中特征化部分的多种不同方式,以及如下文所讨论的,该领域中更深入的理解如何促使各种方法趋于汇合,从而使 MLIP 各方法之间的边界更加模糊。然而,我们认为目前一个有帮助的区分方式是将 MLIP 视为基于"显式 AEF"与"隐式 AEF"。我们注意到,显式与隐式 AEF 的划分类似于其他人 (例如 Schütt 等人) 先前所称的"手工设计的"表示与"学习得到的"表示。[39] 我们所说的显式 AEF 类 MLIP,是指为每种元素定义一组显式特征的 MLIP。显式 AEF 是最早由 Behler 和 Parrinello 发明的那类势,[19] 并且直到相当晚近之前一直主导着 MLIP,这些显式 AEF 类 MLIP 的具体表述形式将在下文第 4.3 节中讨论。相比之下,隐式 AEF 类 MLIP 是指定义一组特征或化学描述符,而这些特征或描述符是被学习出来的而非预先定义的 MLIP。隐式 AEF 产生构成材料的原子和键的学习得到的特征 (有时称为"嵌入 (embeddings)")。采用隐式 AEF 的 MLIP 通常会涉及更高的 ML 架构复杂度,这可能使它们更难或更慢地使用、训练和执行。特别重要的是,直到最近之前,[56] 隐式 AEF 学习得到的特征随不同化学物种数量的伸缩效率远高于大多数显式 AEF 类 MLIP 中所使用的特征,因此正是隐式 AEF 这一类别几乎总是被用于建模众多元素 (例如 > 5 种)。截至撰写本文时,隐式 AEF 类 MLIP 几乎完全基于深度学习方法来学习有效特征。例如,隐式 AEF 类 MLIP 包括所有的图神经网络 (GNN) 方法 (例如 SchNet、[39] M3Gnet、[41] NequIP[35] 等) 以及 DeepMD 的最新实现。[21,22] 因此,我们通常会直接将隐式 AEF 方法称为深度学习方法,尽管这两个类别在技术上是不同的。[39] 在下文中,当上述区分有用时,我们会提及显式类与隐式类或深度学习类 MLIP。
4.3. 显式 AEF 类型的 MLIP
在本节中,我们描述 AEF 的显式构造。处理原子类型和位置的数学表示的标准方式,是认为每个原子具有一个由该原子类型及其局域环境 (邻近原子的位置和元素类型) 所决定的能量。在此描述中,我们将所考虑的给定原子称为目标原子 (图 1 中的原子 $i$)。目标原子的初始 AEF 通常通过将局域原子环境写为给定原子类型的一组密度,然后使用由径向函数和角向函数 (例如分别为 Bessel 函数和球谐函数) 构成的基组来展开该密度函数而构建。当显式 AEF 尊重材料的对称性 (通常包括置换、平移和旋转) 时,它最为有效。可以通过对目标原子及其近邻的初始 AEF 取张量积来创建一个对称性感知的表示。随后可将这些张量积组合起来,以生成一组在对称操作下协变 (即以结构化且可预测的方式变化) 的数值。最终的 ML 模型随后作用于这些张量,通常用于预测单一的标量能量。仅保留标量协变 (通常称为不变) 特征是可能的且相当常见的做法,这些特征随后几乎可以用于任何 ML 模型,只要该 ML 模型是连续可微的。
一旦确立了 AEF,任何原子及其环境都可以映射到一个数组上,该数组随后可用作标准 ML 模型中的输入特征。我们将把 AEF 作为特征简单地传入 ML 模型的做法称为"显式 AEF 方法"。图 2 给出了显式 AEF 方法的图示概览。ML 模型的训练目标值通常是一组能量、力和应力。这些目标可以来自任何来源,但几乎总是取自大量的从头算计算,例如密度泛函理论 (density functional theory, DFT)。任何提供目标数据的 DFT 元胞计算,包括稳定结构、原子弛豫过程中计算的结构以及 AIMD 过程中计算的结构,都可能有用。然后,通过标准回归方法估计模型参数。与典型回归问题的一个区别在于,训练数据并不只是 AEF 的简单函数。首先,单个目标原子上的力通常给定为 ML 能量函数对原子位置的导数,因此在这种情形下拟合损失函数必须包含一个依赖于 ML 能量函数导数的项。值得注意的是,一些 MLIP 是在能量和力上分别训练的,例如不使用力训练的基于 NN 的 MLIP,其中可以通过增大训练数据集规模来获得相当的精度。[51,52] 其次,每个训练能量实际上是构成一个分子或晶体单胞的整组原子的总能量 (几乎没有从头算方法允许将总能量轻易地形式分解为每个原子的数值),因此拟合损失函数通常必须包含一个依赖于每个计算构型中所有原子能量之和的项。请注意,一些 MLIP 代码包也会拟合其他性质,例如应力张量、位力 (virial)、极化率等。[21,34] 这些额外性质都可以用刚才所述的那类回归方法纳入拟合中,只需对损失函数作出调整。假设使用的是成熟的 MLIP 代码仓库或软件包,这些操作应当是自动的,因而对用户而言基本是不可见的,人们可以定性地将 MLIP 拟合视为拟合一个简单的回归问题。与任何回归一样,有许多可用的 ML 模型。用于 MLIP 的最广泛使用的模型,按其概念简洁性、拟合与执行速度递减、精度递增的大致顺序排列为:线性回归 (Linear Regression, LR) (最简单、最快、精度最低)、高斯过程回归 (Gaussian Process Regression, GPR),以及神经网络 (Neural Networks, NNs) (复杂、最慢、精度最高)。我们注意到,GPR 的拟合速度高度依赖于数据集规模,并且对于小数据集,GPR 的精度可以超过 NN 方法,而后者往往在涉及大数据集的问题上表现出色。[1] 在此,我们排除了 GNN,因为它们将在第 4.4 节中在隐式 AEF 的语境下单独讨论。从上述讨论可知,值得注意的是,一些在回归问题中极为流行的 ML 模型 (例如随机森林) 并不适用于 MLIP,因为它们不具备连续导数。
对于哪种 ML 模型最适合 MLIP,并没有普适的答案,但只要有良好的特征化,LR 和 GPR 都已被证明效果非常好,并且通常比 NN 更易于拟合。许多最广泛使用的 MLIP 都可以用这一显式 AEF 框架来描述。具体而言,最初的 Behler-Parrinello 势使用以原子为中心的对称函数 (atom-centered symmetry functions, ACSFs) 作为 AEF,并采用前馈 NN 作为 ML 模型;[19] 高斯近似势 (GAP) 使用原子位置平滑重叠 (Smooth Overlap of Atomic Positions, SOAP) 方法构造 AEF,并采用稀疏 GPR 作为 ML 模型;[26] 谱近邻分析势 (SNAP) 使用超球双谱函数 (hyperspherical bispectrum functions, HBFs) 作为 AEF,并采用 LR 作为 ML 模型;[40] 矩张量势 (MTP) 使用矩张量函数 (moment tensor functions, MTFs) 作为 AEF,并采用 LR 作为 ML 模型;[34] 原子团簇展开 (ACE) 使用径向函数与球谐函数的乘积作为其 AEF,并采用 LR 作为 ML 模型。[14] 应当指出的是,ACE 形式体系至少在概念上是作为许多其他 AEF 方法的超集而引入的,这意味着 ACSF、SOAP、HBF 和 MTF 都是 ACE 的特例。[14] 请注意,这并不意味着使用这些较早 AEF 的势就变得无关紧要,因为任何给定的势可能对应于在训练或执行上特别高效的特定选择,但认识到 ACE 似乎是表达 MLIP 前沿显式 AEF 的一个综合性形式体系,仍然是有帮助的。此外,可以将这些 AEF 中的任意一种与任意 ML 回归模型相结合。例如,FitSNAP 软件[46] 允许将 SNAP 和 ACE 特征化与 PyTorch 及 JAX 模型相结合。[53]
图 2. 制作 MLIP 的显式 AEF 方法概览,包括从从头算计算获取参考数据、选择一种特征化方法来表示局域化学环境,以及一个将化学环境映射到能量和力的 ML 回归模型。经许可改编自文献 [50]。
虽然显式 AEF 形式体系非常有效,但直到最近它一直存在一个显著的伸缩性问题,[13] 我们在此加以描述。我们注意到这一论证是基于 ACE 基组构造的,但它相当具有一般性,在其他相关的显式 AEF 形式体系中也会出现类似问题。设 $N_b$ 为用于展开目标原子周围一种化学元素密度的基函数数量,$S$ 为元素的数量。那么对于一个目标原子,总共有 $N_{total_basis} = N_b {\times} S$ 个基函数。设 $v$ 为我们在张量积中耦合的原子位点数量 (此处 $v+1$ 称为体阶 (body order),$v+1=2$ 给出对相互作用信息,$v+1=3$ 给出三体信息,依此类推)。对于给定的体阶,基函数的数量为 $O((N_b{\times}S)^v)$ 量级。对于典型的体阶 3,这给出关于基函数数量和元素数量的二次伸缩,对于复杂的基组和大量元素而言这可能变得相当慢。这种元素伸缩性通常将大多数显式 AEF 势限制在约 5 种或更少的元素。
4.4. 隐式 AEF 与 GNN 类 MLIP
对于显式 AEF 伸缩性不佳的问题 (尤其是随元素数量的伸缩) 有若干解决方案。克服这一伸缩性问题的一般思路是转而使用隐式 AEF,将化学空间嵌入到一个学习得到的特征向量 (即嵌入) 中,从而能够有效表示不同的化学性质,而无需为每一种化学性质显式地开发基函数。这种方法似乎效果非常好,极大地降低了处理不同元素的复杂度。这一做法奏效的确切原因尚不完全清楚,但很可能是因为不同元素的性质并非彼此独立,而它们在子团簇中的相互作用为其更复杂的团簇相互作用提供了信息 (例如,对偶耦合可能主导一个由 10 种不同原子类型构成的团簇的能量)。可能最广泛使用的能提供高效嵌入的方法 (同时也具有其他潜在优缺点) 是 GNN,下文将进一步讨论。不过,还有其他方法。例如,DeepMD[21,22] MLIP 将局域环境表示为由神经网络基于部分或全部局域原子距离、角度和类型所构造的嵌入向量。嵌入网络的权重在拟合过程中被训练,从而使 AEF 成为坐标的隐函数,该隐函数在训练中被学习,并使得 DeepMD 能够拟合许多元素。最近有若干论文展示了如何操纵标准显式 AEF 类 MLIP 中的特征以降低其随物种数的伸缩,其中 Lopanitsyna 等人的这类方法被形象地命名为"化学压缩 (chemical compression)"。[54–56] 特别是 Darby 等人已经表明,将元素线性嵌入到一个固定维度的向量空间中在形式上对应于张量分解,并且随着维度增加将收敛到未压缩的结果。[54] Artrith 等人表明,元素特定的权重允许 AEF 向量具有恒定大小而与化学元素数量无关,并对多达 11 种物种演示了该方法,[16] Gastegger 等人独立提出了类似的方法。[57] 这些方法威力的一个杰出例证是 MACE 和图 ACE (grACE) 软件包 (对应于同一底层架构的两个独立实现),二者都在随元素数量伸缩方面表现优异,同时保持高精度。[29] 这些最新论文和新兴软件包表明,与显式 AEF 方法相关的化学伸缩性问题可能很快会大幅减轻甚至完全消除。
GNN 是一种作用于图的 NN 架构,其中图是节点及其间连接 (称为边) 的集合。或许并不令人意外,图是思考相互作用原子的一种极佳方式,其中节点映射为原子,边映射为所有合理的近邻键 (但通常比共价键长得多,例如 4–6 埃)。因此,此处的"图"本质上用于编码力和其他性质的局域化。有人可能会说,上述所有 AEF 中所使用的、并在所有 MLIP 中使用的有限截断,也编码了这种相同的局域结构。但是,GNN 与显式的图表示导致了一种在构造 AEF 上有所不同的方法,与上文讨论的显式 AEF 方法相比具有一些明显优势,因此已成为一种非常流行的 MLIP 方法。在图中,若干嵌入可以自由地与节点和/或边相关联,而这些嵌入可以由 GNN 映射到原子的性质上。GNN 通过将相连的节点/键嵌入学习性地映射到目标节点/键上,迭代地更新目标节点/键的嵌入,其连接关系由图结构确定。每一次更新通常在 GNN 的一层中完成。这些更新还会被赋予结构信息,例如键长或更详细的 AEF 参数化。由于 GNN 通过到嵌入特征的学习映射来编码原子和键的特征,这些特征可能比第 4.3 节所述标准显式 AEF 类 MLIP 中的基函数张量积更高效地表示化学性质和结构。在构造 GNN 方面存在很大的自由度。例如,近期的 GNN 常常是所谓的 E(3) 等变 NN (例如 NequIP[35]、MACE[32]、TeaNet[58]),它们采用高度富于表达力的原子环境等变张量表示,并对其进行操作以保持恰当的对称性。此类 GNN 在拟合中似乎特别具有数据效率。最近已发表了对设计选择的系统性概述。[59] 大多数 GNN 类 MLIP 在 GNN 的每一层有效地将越来越大范围的原子/键耦合到目标原子/键上。当需要多层才能获得良好收敛时,它们最终会有效地耦合相距 3–4 nm 的原子。这种耦合对于捕捉更长程的相互作用可能是有利的,例如 M3GNet 与 MTP 势的对比所展示的那样。[41] 然而,这种 3–4 nm 的中程耦合远长于几乎所有 PBP 和显式 AEF 类 MLIP 中典型的直接物理相互作用范围 (后者几乎总是 1 nm 或更小),并可能导致显著的内存和并行化问题。因此,研究人员现在正在探索更局域的等变 NN 方法,例如 Allegro,[13] 它完全放弃了图上的消息传递结构;或 MACE,[31] 它使用高体阶的局域特征,使得图上仅需两跳即可实现收敛。二者在多处理器上都表现出优异的可伸缩性。
4.5. 统一显式与隐式 AEF
值得注意的是,所有这些 MLIP 方法越来越显现为单一通用 MLIP 方法的不同侧面。如上文所讨论的,显式 AEF 与隐式 AEF 在很大程度上是独立发展起来的。显式 AEF 侧重于通过与截断距离内所有近邻的相互作用所获得的原子能量的局域描述。隐式 AEF 通过消息传递递归地纳入关于可能相距若干个截断距离之外的原子的信息。消息由截断距离内的局域原子环境组装而成,然后用于计算另一个原子的能量。从显式 AEF 的视角来看,消息传递改变了原子的特性。在显式 AEF 中,近邻原子由其位置和化学元素来刻画。在隐式 AEF 中,近邻原子由从原子环境中收集的更多属性来刻画。例如,这使得表面上的碳原子不同于体相中的碳原子。在等变神经网络中,这些附加属性是矢量和张量,它们本质上赋予碳原子一种依赖于环境的、非球形的特性。
ACE 为局域原子环境提供了一组完备基。将 ACE 应用于近邻原子的局域原子环境,可以促成形式上完备的消息。[59] 在隐式 AEF 构造中递归地应用 ACE 会导向"多层 (multi)"ACE,[184] 也就是 (MACE)。[31]
然而,尽管以迭代求值为出发点很直观,但这并非必要。人们可以通过最初考虑最一般的图基函数来得到同样的模型,正如 grACE 方法所做的那样。[29] 在这一设定下,ACE 基可以被视为仅使用星形图。与原始 ACE 模型完全类比,在图 ACE 中,能量或任何其他局域或半局域性质被写为一般基函数的线性组合,即看起来像一个显式 AEF。然而,在图上枚举一般基函数的开销在形式上随节点和/或边的数量呈指数伸缩。沿图 ACE 基函数采用张量分解的高效求值是一种迭代求值,它对应于树图,并等价于诸如 NequIP[35]、MACE 之类的消息传递神经网络,即我们又回到了隐式 AEF。
这促成了如下理解:具有两层或更多层树结构的图上的显式 AEF,可以为了数值上的高效求值而转换为隐式 AEF,从而得到消息传递神经网络。在实践中,即使是单层的显式 AEF,为了数值效率也是按体阶迭代求值的,[60] 这表明它们同样可以被视为一种隐式 AEF。
因此,显式与隐式 AEF 之间的区分所反映的,更多是过去几年中 AEF 发展的历史及其实现细节,而非它们实际的底层数学结构。据我们所知,所有 AEF 都可以以显式的方式表示。为数值效率而进行的迭代求值导致了 AEF 的隐式表示。这些结果越来越表明,我们可能正在收敛到一个统一的通用 MLIP 形式体系,而当今使用的那些看似截然不同的方法,实际上是这一通用设计空间中的特定选择。这样的理解有望使学界能够提取出那些同时在训练上最高效、在预测上最快且最准确的方法。
5. 通用 MLIP
迄今为止,绝大多数 MLIP 是在有限的化学或材料体系域上训练的,针对某个特定的关注应用。这相当于一个能很好地表示某一特定材料族 (例如钙钛矿氧化物、二维 MXenes 等) 或特定化学体系 (例如 Li-Co-Mn-Ni-O 组分空间) 的 MLIP,但在如下意义上不具备可迁移性:这些 MLIP 无法外推以准确建模特定训练数据中未出现的新元素或局域结构。如上文第 4 节所讨论的,研究人员聚焦于少量化学元素的部分原因与所采用的显式 AEF 方法有关,该方法过去在面对众多元素时伸缩性不佳。创建覆盖比典型 MLIP 多得多的元素与条件的准确、高度通用的 MLIP 是非常可取的,因为这将产生一个具有尽可能广泛适用域的势,从而使得研究众多类型的化学复杂体系的静态与动力学行为成为可能,并且潜在地可用于长模拟时间尺度。在思考如何将 MLIP 扩展到更多化学物种时,我们提出区分几类 MLIP 是有益的,具体而言:
-
针对性 MLIP (Targeted MLIPs, T-MLIPs)。 这些是覆盖大约 1–10 种 (通常 < 5 种) 元素的典型 MLIP,通常受到某些化学、结构或相方面的约束 (例如具有特定组分的氧化物、高熵合金中固定晶体结构下的多种元素,或熔融 (液态) 相盐类),尽管后面这些约束可能相当少甚至可能完全没有。
-
通用 MLIP (Universal MLIPs, U-MLIPs)。 这些试图在不同程度的约束下覆盖大量物种,例如固态形式的过渡金属氧化物或含有特定重元素的有机分子。它们通常覆盖 10–100 种元素,并且条件范围可以从非常强的约束 (例如某一特定晶格) 到允许几乎任意的原子构型。显然,纳入的元素越多、对所考虑化学或材料结构的约束越少,该 MLIP 就越被视为通用。将这类 MLIP 分为两类考虑是有益的,我们称之为半通用 MLIP (semi-universal-MLIPs, SU-MLIPs) 与真正的 U-MLIP。二者都需要一种能够随物种数量良好伸缩的方法,并以大量物种为目标。然而,SU-MLIP 聚焦于某个特定领域,例如固态形式的过渡金属氧化物或含有特定重元素的有机分子。SU-MLIP 的一个好例子是最近的 AIMNet2,[18] 它面向分子与大分子结构,适用于包含多达 14 种化学元素、处于中性和带电状态的物种,这使其对建模大多数非金属化合物很有价值。作为 SU-MLIP 的另一个例子,Rodriguez 等人的工作构建了元素空间密度神经网络力场 (Elemental-SDNNFF),它能为由 55 种不同元素构成的 Heusler 合金给出准确的力,并准确预测声子性质。[23] 第三个例子是 Chen 等人的 SuperSalt 势,[183] 它对 11 种阳离子 M 的 M−Cl 熔盐进行建模,并被证明对这些材料而言显著比现有 U-MLIP 更准确。相比之下,U-MLIP 试图覆盖元素周期表中极大一部分甚至几乎全部的元素,其中原子可能处于任意排布。即便对于 U-MLIP,通常也会排除那些研究起来非常不切实际或难以处理的元素,例如锘 (原子序数 102,或任何原子序数高于 103 的元素)。因此,与材料和化学相关的元素周期表部分一般至多约 100 种元素。U-MLIP 通常覆盖 50 种以上元素,并且可能准确建模固体、液体和分子结构。这一类别的一个好例子是 Chen 和 Ong 最近的 M3GNet 势,[41] 它涵盖 89 种元素且在适用性上没有特别的约束 (尽管其训练中对固相有很强的偏倚),或者上文提到的 MACE-MP0,它在相同数据上训练,并被证明能够有效运行长达许多纳秒的稳定 MD 模拟。[32]
上述分类中元素数量或结构约束程度的确切数值多少有些任意,尽管 T-MLIP 与 U-MLIP 的区别在于后者通常需要可伸缩的隐式 AEF 方法 (见第 4 节)。特别地,在本节中,U-MLIP 将被相当宽松地用于指代那种在足够大且足够多样的数据集上训练、从而能够对分子和/或材料的广泛组分与结构提供有实用价值的准确预测的 MLIP。如果训练数据足够大且足够多样,该 MLIP 可能为元素周期表中大多数化学相关元素的行为提供准确预测。
通用势并不局限于 MLIP,它们此前已在 PBP 的语境中被开发出来。半通用 PBP (SU-PBPs) 的创建可追溯至 1981 年 Weiner 等人的开创性工作。[61] 自那以来,Rappe 等人的半通用力场 (universal force field, UFF)[62] 以及基于能量精修的辅助模型构建 (Assisted Model Building with Energy Refinement, AMBER) 力场[61,63] 已成为一些最流行的 SU-PBP,这些势的主要用途在于建模分子体系 (例如辅助药物发现),而非凝聚相。由于 U-MLIP 的发展仍处于初期阶段,这些 SU-PBP 与 U-MLIP 的相对效用在现阶段难以判定。首个见诸报道的面向有机体系的 SU-MLIP (最初表示仅含 C、H、O、N 原子的分子) 是 Smith 等人 2017 年工作中的分子能量精确神经网络引擎 (ANAKIN-ME,简称 ANI) 势,[12,64] 它在 2020 年被扩展以纳入 S、Cl 和 F 元素 (从而覆盖约 90% 的类药分子)。[65] ANI 势对有机体系具有与 AMBER SU-PBP 类似的适用性,但以 MLIP 的形式呈现。截至撰写本文时,这一 SU-MLIP 的最新迭代出现于 2023 年末,称为分子中原子神经网络势 (atoms-in-molecules neural network potential, AIMNet2) SU-MLIP。[18] 这一 SU-MLIP 将 ANI 势扩展到多达 14 种元素物种,并增加了与短程范德华 (van der Waals, vdW) 修正和长程静电修正相关的额外能量项,从而实现对有机分子和大分子更高保真度的预测,并且也能纳入带电物种和具有不同价态的物种的效应。此外,ANI-1xnr 势将 ANI SU-MLIP 的成功进一步扩展,使其能够准确建模有机体系 (由 C、N、H、O 构成) 的凝聚相,例如液体、超临界流体和化学反应。[66] 最后,同样发表于 2023 年末的 MACE-OFF3 势[33] 使用 MACE 消息传递框架,为有机化学中出现频率最高的 10 种元素 (H、C、N、O、F、P、S、Cl、Br、I) 构建了一个 SU-MLIP。与最新的 ANI 势相比,MACE-OFF3 仅使用短程相互作用,但在若干基准分子模拟性质上相较 ANI 取得了更好的表现。
首批旨在覆盖元素周期表中大多数元素、具有广泛适用性的已发表 U-MLIP 几乎同时出现于 2022 年初。[41,58] 仅在过去两年中,已经开发出许多能够表示元素周期表中大多数元素的 U-MLIP:(1) Chen 和 Ong 的三体材料图网络 (M3GNet) 势;[41] (2) Deng 等人的晶体哈密顿图神经网络 (CHGNet);[20] (3) Choudhary 等人的统一原子线图神经网络力场 (ALIGNN-FF);[17] (4) 来自 Takamoto 等人工作的张量式消息传递神经网络优选势 (PFP),[37] 现已作为商业产品在 Matlantis 软件包中共享;[67] (5) Merchant 等人的面向材料探索的图网络 (GNoME) U-MLIP,[28] 它是 Batzner 等人工作中 NequIP 的定制训练版本,[35] 拟合于一个包含约 8000 万次 DFT 计算的内部数据库;[28] (6) Park 等人的 SevenNet-0 势,[38] 它同样基于 NequIP,并在与 M3GNet 相同的 Materials Project 数据上训练,但经过改进以在众多处理器上提供良好的伸缩性,用于建模更大的体系;(7) Batatia 等人开发的等变图张量网络 MACE-MP0,[32] 它在 CHGNet 和 SevenNet 模型所使用的相同公开数据上训练,并在水溶液体系动力学、多相催化和金属有机框架这三个示例性应用上被证明具有高度的精度,同时还在 30 多个化学性质多样的示例上展示了稳定的纳秒级分子动力学;(8) Xie 等人开发的基于图的预训练 Transformer 力场 (GPTFF),[27] 这是一个在模型架构中集成了 Transformer 模块的 GNN 模型;(9) MatterSim,[30] 这是微软研究人员开发的大规模深度学习模型,其训练数据来自一个包含约 1700 万个原子构型的大型定制数据库中主动学习获得的 DFT 数据,其中包括在大温度 (0–5000 K) 和压力 (0–1000 GPa) 范围内的许多非基态结构;(10) Neumann 等人开发的 Orb 模型,[36] 它在 MatBench 排行榜上取得了优异表现,并具有相较其他领先 U-MLIP 更快的性能优势,例如发现 Orb 比 pytorch 版本的 MACE 快 3–6 倍 (但当使用定制 CUDA 内核时该优势消失),尤其是对于大体系规模以及包含色散修正的情形;以及最后 (11) 来自 Meta 的 EquiformerV2-OMAT24 模型,[24] 它在一个包含约 1.18 亿个原子构型的新型开源数据库上训练了 EquiformerV2 模型,[68] 截至撰写本文时在 MatBench 排行榜上取得了最佳表现。图 3 给出了 U-MLIP 部分示例能力的概览。MatBench 排行榜的主排名依据的是预测未见材料稳定性的能力。然而,性质预测更为困难,并且最近新增的展示 U-MLIP 预测热导率能力的数据与主排名几乎没有相关性,其中一个 MACE 模型以相当大的优势超越了其他模型。这凸显了仅使用对能量预测敏感的结果来外推总体表现的危险。一点提醒:该领域非常活跃,虽然本文的评述代表撰写时的状况,但在不久的将来很可能会不断有新的性能进展出现。
图 3. U-MLIP 的应用示例。(a) 使用 CHGNet 势计算的固态电解质材料 Li3La3Te2O12 中的 Li 扩散率,经许可改编自文献 [20]。(b) 使用 M3GNet 势计算的一组假想预测材料的热力学稳定性 (以带符号的凸包距离表示),并与 DFT 计算作比较,经许可改编自文献 [41]。(c) 使用 AIMNet2 优化大型蛋白质结构所需的时间,经许可改编自文献 [18]。(d-左) 使用一个仅基于结构中不同元素数量预测给定晶体形成能的 GNN 模型所新发现的稳定材料数量;(d-右) 使用同一 GNN 的平均绝对误差随训练集规模的变化。改编自文献 [28]。
上述 U-MLIP 之所以成为可能,得益于此前开发的 GNN 模型的进步,使其能够纳入关于体系键能如何随组成原子位置演化的物理信息,从而通过对这一学习得到的能量依赖关系求导来获得力和应力。例如,M3GNet 势是对材料图网络 (MatErials Graph Network, MEGNet) 模型[69] 的扩展,纳入了三体相互作用 (注意,一般的 N 体相互作用是可能的,但出于计算效率考虑使用三体)、显式原子坐标以及 3×3 晶格矩阵。[41] 作为另一个例子,ALIGNN-FF 扩展了 ALIGNN 模型,[70] 后者已经纳入了多体相互作用,使其还能产生逐原子预测和梯度预测,从而能够计算每个原子上的力以及体系的应力。[17] 除了对底层 GNN 模型的改进之外,U-MLIP 之所以成为可能还得益于大型计算数据库的增长,即那些包含数百万次静态 DFT 计算和 AIMD 模拟的数据库。每个被编目的 DFT 结构提供 1 个能量和 3N 个力 (N = 结构中的原子数) 用于训练通用 MLIP。目前可用的 U-MLIP 全都在各种 DFT 计算数据库上训练,如表 1 所汇总。此外,图 4 展示了用于训练各种 U-MLIP 的 DFT 数据库规模随时间的演变。我们发现,平均而言,数据库规模每年增长超过一个数量级,从 2022 年 (M3GNet) 的约 2×105 增长到 2024 年 (EquiformerV2-OMAT24) 目前最高的 1.18×108。哪怕再沿此趋势一年,都将使学界达到在十亿次计算规模数据库上训练的水平,这是一个艰巨的目标,但很可能会带来性能的进一步提升。
表 1 U-MLIP 的数据与适用域汇总。
| U-MLIP 名称 | 训练数据库 | 所表示的元素数量 | 训练数据量 | 备注 |
|---|---|---|---|---|
| M3GNet | Materials Project | 89 | 62,783 种化合物:187,687 个能量、16,875,138 个力和 1,689,183 个应力 | 训练数据取自 Materials Project,可追溯至其 2011 年创立之初 |
| CHGNet | Materials Project + 轨迹数据库 | 89 | 146,000 种化合物:1,580,395 个能量、49,295,660 个力和 14,223,555 个应力 | 训练数据取自 Materials Project 截至 2022 年 9 月版本的 GGA 和 GGA + U 弛豫轨迹 |
| ALIGNN-FF | JARVIS-DFT | 89 | 72,708 种化合物的 307,113 个能量和 3,197,795 个力 | |
| PFP (Matlantis) | 定制 | 96 (先前版本分别针对 18 种 (TeaNet) 和其后的 45 种元素) | 约 6000 万个构型 | 训练数据是由 Preferred Networks, Inc. 与 ENEOS Corporation 合作完成的定制内部数据集 |
| GNoME | Materials Project + 定制 | 94 | 来自 600 万种组分的约 8900 万个构型 | 初始训练在 2018 年的 Materials Project 数据上进行,包含 69,000 种材料。后续拟合包括约 8900 万个构型 |
| MACE-MP0 | Materials Project + 轨迹数据库 | 89 | 与构建 CHGNet 势所用的训练数据相同 | 可使用一个附加的色散修正模型来准确捕捉训练数据中不存在的色散物理 |
| SevenNet-0 | Materials Project | 89 | 与构建 CHGNet 势所用的训练数据相同 | 与构建 M3GNet 势所用的训练数据相同 |
| GPTFF | Atomly.net | 文中未给出数值 | 约 220 万个晶体结构,总共包含 3780 万个能量 (其中 34.9 万个为平衡态)、117 亿个力矢量和 3.402 亿个应力 | |
| MatterSim | 初始数据来自 Materials Project、Materials Project Trajectory 和 Alexandria 等公开数据库,随后以额外的 DFT 计算进行定制 | 89 | 约 1700 万个原子构型 | 采样技术包括温度范围 0–5000 K、压力范围 0 至 1000 GPa 的模拟 |
| Orb | Materials Project Trajectory 和 Alexandria | 89 | 文中未直接提及数值 | |
| EquiformerV2-OMAT24 | 初始数据来自 Materials Project、Materials Project Trajectory 和 Alexandria 等公开数据库,随后以额外的 DFT 计算进行定制 | 89 | 约 1.18 亿个原子构型 | 截至撰写本文时,在 MatBench 排行榜主排名上具有最先进的表现,并拥有最大的公开可用 DFT 数据库 |
虽然仅用能量训练 U-MLIP 是可能的,但 Chen 和 Ong 建议在能量、力和应力上训练以获得物理上最准确的势,并且如果对建模结构相变或执行体积可变的分子动力学模拟 (例如 NPT 系综) 感兴趣,则必须纳入应力。[41] 这些 U-MLIP 在大型测试数据集上取平均时往往具有非常好的精度,例证是 CHGNet (M3GNet) 在测试数据上的能量、力和应力平均绝对误差分别为 29 (35) meV/原子、70 (72) meV/埃 和 0.308 (0.41) GPa。如表 1 所示,仅在能量和力上训练的 ALIGNN-FF,其测试数据上的能量和力平均绝对误差分别为 86 meV/原子 和 47 meV/埃。请注意,ALIGNN-FF 较高的误差很可能是由于作者因硬件和速度限制,仅使用了其可用的 400 万个数据点中约 30 万个用于训练,而很可能并非 ALIGNN-FF 方法的根本性局限。
一般而言,这些 U-MLIP (M3GNet、CHGNet、ALIGNN-FF、PFP、GNoME、MACE-MP0) 的开发者都在各类材料结构、化学性质以及由此得到的材料性质预测上进行了多项基准测试。虽然具体的测试和比较在此难以尽述,并且由于训练和测试所用数据库不同也不能直接比较,但所有这些 U-MLIP 在准确建模极大范围的材料现象方面都是成功的,其典型的能量、力和应力误差大大优于诸如 EAM 和修正 EAM 之类的多体 PBP,并达到了与依赖局域环境表示的显式 AEF 方法 (如 MTP) 相当或略差的精度。因此,这些 U-MLIP 似乎有可能很快就能在许多不同的原子排布上达到接近 DFT 的精度。
图 4. 用于训练 U-MLIP 的 DFT 数据库规模随时间的演变。小圆点表示各个 U-MLIP 的数值,大蓝色方块表示给定年份的平均值 (注意 SevenNet-0 未纳入 2024 年的平均值)。(关于本图图例中颜色引用的解读,读者可参阅本文的网络版本。)
CHGNet U-MLIP 与此处讨论的其他 U-MLIP 的独特之处在于,它通过在每个原子的矢量表示上显式嵌入磁矩,额外纳入了价态的电子效应,从而实现了电荷感知的原子尺度模拟。[20] 在 MLIP 中纳入此类电子效应,可能有利于建模某些与电荷态高度相关的材料现象 (即由离子价态支配的过渡金属成键,以及由电荷歧化驱动的相变,下文将进一步讨论)。表示原子电荷有不同的方法,而在 CHGNet 中,电荷是通过 DFT 计算的磁矩来推断的,该磁矩本质上是由给定价态的电子轨道占据数所支配的局域自旋密度。因此,CHGNet 的训练数据和预测输出包括体系中每个原子的能量、力、应力和磁矩,其中在训练中加入磁矩相比不加入磁矩带来了能量、力和应力误差的进一步降低 (根据性质不同,降幅在 1–10% 范围内)。比误差的轻微降低更重要的,是能够建模由特定价态和电荷转移所支配的关键物理这一新能力,这在以往任何已构建的 MLIP 中都是不可能的。为说明这一能力的威力,Deng 等人[20] 强调了 CHGNet 能够:(i) 以 Na4V2(PO4)3 中 V 氧化为例,准确区分过渡金属的不同价态;(ii) 以 LiMnO2 电池正极材料中电荷耦合的降解为例,实现基于电荷转移的动态信息研究,其中降解是由 Mn2+ 和 Mn3+ 相对于不可移动的 Mn4+ 阳离子的动力学差异所驱动;以及 (iii) 建模电池正极材料 LixFePO4 中电子熵效应如何驱动该材料的有限温度相稳定性,其中在 CHGNet 中纳入 Fe 价态能够正确重现随着 Li 加入 LixFePO4 时定性的混溶间隙,而若忽略 Fe 的价态效应则观察不到混溶间隙。最后值得一提的是,虽然最初的 CHGNet 模型在单块 A100 GPU 上训练耗时 8.3 天,但最近开发的 FastCHGNet 包含若干优化,使训练显著加快,在使用 32 块 GPU 时可缩短至仅 1.5 小时。[71]
至少已有五项值得注意的近期研究对不同 U-MLIP 的性能进行了基准评测。首先,Yu 等人的工作[72] 比较了 M3GNet (以及较新的基于 Pytorch 的 MAT-GL 实现)、CHGNet、MACE-MP0 和 ALIGNN-FF 预测各种材料性质的能力。关于元胞弛豫的收敛行为,他们发现 CHGNet 和 MACE-MP0 表现最佳,而 M3GNet 有大量给出未收敛全体积弛豫的情形。所有模型预测形成能的能力大致相当,不过 CHGNet 具有最低的 MAE,仅为 81 meV/原子,而所有其他模型的 MAE 均为 129 meV/原子 或更高。对于振动性质,MACE-MP0 表现最佳,而 ALIGNN-FF 在重现声子能带结构方面表现出一些显著的定性误差。其次,Focassio 等人的工作[73] 比较了 M3GNet、CHGNet 和 MACE-MP0 对 73 种单质体系体相与表面总能量以及表面能的预测,这些体系在 Materials Project 中有可用的体相和表面板层数据,总共考虑了 1497 个表面结构。如图 5 所示,所有三个 U-MLIP 模型都能准确重现体相的总能量 (注意,平均而言 CHGNet 具有最低的预测误差),这是合理的,因为这些体相结构包含在 U-MLIP 的训练数据中。表面能的误差远大于体相,这是由于这些表面未出现在训练数据中所致。M3GNet 和 CHGNet 的表面能预测误差表现出系统性的低估,而 MACE-MP0 则表现出多次高估的情形。Focassio 等人还表明,诸如 MTP 和 NequIP 之类的针对性 MLIP 在预测特定体系性质时相较零样本的 U-MLIP 预测可以具有更低的误差,以牺牲通用性为代价提升了精度。第三项基准评测来自 Deng 等人,[74] 展示了 U-MLIP 在一系列材料建模任务中对能量和力的低估,这些任务包括表面能、缺陷能、混合能、声子振动、离子迁移势垒等。性质被低估的观察结果与 Focassio 等人的报告一致。能量和力被低估被归因于 U-MLIP 势能面的系统性软化,即发现 U-MLIP 预测的能量景观比 DFT 所描述的真实势能面更平滑。作者声称这种软化效应是由 U-MLIP 训练数据集中有偏的采样所驱动的,其中训练原子构型取自 DFT 离子弛豫过程,因而接近势能面的局域极小值。我们在此讨论的第四项基准评测工作来自 Riebesell 等人,[75] 他们关注 U-MLIP 及其他基于 GNN 的 ML 模型 (例如 MEGNet、ALIGNN) 预测稳定材料 (即凸包能量在某个阈值内的材料,此处选为处于或低于 Materials Project 训练数据凸包) 的能力。他们在 Wang 等人的数据集上测试了这些模型,[76] 该数据集由在 Materials Project 中采样较少的材料的未弛豫结构组成,并且是通过基于化学相似性的元素替换过程、使用 Materials Project 中的结构生成的。他们发现所有三个 U-MLIP 模型都优于所有其他模型,并且特别是 MACE-MP0 在发现新的稳定材料方面表现最佳,其中寻找稳定材料的分类 F1 分数依次为 0.67 (MACE-MP0) > 0.61 (CHGNet) > 0.57 (M3GNet) > (其余全部)。MACE-MP0 和 CHGNet 模型的凸包能量 MAE 值为 60 meV/原子。最后,Casillas-Trujillo 等人的工作试图评估 M3GNet、CHGNet 和 MACE-MP0 预测金属合金混合热力学的能力。他们工作的一个惊人结果是,这三个 U-MLIP 都无法以与 DFT 结果充分吻合的方式准确重现金属二元合金的混合能。[77] 这些发现表明,在将 U-MLIP 用于某个新的关注问题时需要进行仔细的基准评测,并且如果未获得足够的精度,则需考虑精心挑选额外的训练数据以微调 U-MLIP 从而获得更高的精度。为此,Wines 和 Choudhary 最近的工作建立了用于基于预测模拟的力场的计算高性能基础设施 (Computational High-Performance Infrastructure for Predictive Simulation-based Force Fields, CHIPS-FF),这是一个专门为对各种 U-MLIP 所预测的材料性质进行基准评测而量身定制的开源基础设施。[78] 上述基准评测研究所发现的问题表明,不仅关注力和能量误差,还对 U-MLIP 在物理相关性质 (例如表面能、缺陷能、混合行为、弹性常数等) 上的误差进行定量评估,是有益的。对此类行为的测试将受益于精心生成的、复杂精细的测试数据集以评估 U-MLIP 的性能。如何有效地做到这一点存在挑战,因为一旦建立了某个测试集,学界就容易开始实际上以最小化这些测试集上的误差为目标来拟合新的势,这可能无意中造成该势在其他性质方面表现不佳。开发并恰当使用此类测试数据集,预计将在 U-MLIP 的改进中发挥重要作用。需要指出的是,训练和测试数据上较低的能量与力误差在保证重要材料性质预测良好表现方面能力有限,这一点并不局限于 U-MLIP,而是 MLIP 面临的共同挑战。我们在第 7.5.3 节中进一步讨论这个问题。
图 5. U-MLIP 模型预测体相与表面总能量以及表面能的基准评测性能。(a) 体相和 (b) 表面的 ML 与 DFT 总能量对比。(c) ML 预测的与 DFT 计算的表面能对比。(d) 来自 (c) 的数据,但以 ML 与 DFT 残差的箱线图绘制。MACE 指的是 MACE-MP0 模型。图经许可改编自文献 [73]。
如上所述,预计 U-MLIP 将持续快速改进。此类改进可以简单地来自将一个势重新拟合到更多数据上,例如 Takamoto 等人已经展示的那样。[37,58,79] 改进也可以来自扩展底层 MLIP 形式体系以纳入新的物理,正如 Anstine 等人所做的那样,他们将 vdW 和静电贡献纳入有机 U-MLIP AIMNet2 的总能量中,[18] 以及尽管 MACE-MP0 仅在 PBE 层次的 DFT 数据上训练但仍为其加入了色散和 vdW 相互作用。[32] 另一种利用额外数据改进 U-MLIP 的不同且更微妙的方法是对现有模型进行微调 (fine-tuning)。微调是这样一个过程:一个已经训练好的大型 NN 模型,其权重仅被轻微调整以匹配少量新数据,目标是在提高模型对新数据精度的同时保持其在原始训练数据上的精度。微调通常涉及更新一小部分权重,通常位于仅在输出前最后几步所涉及的层中。此类微调已在其他 ML 问题 (例如计算机视觉和语言模型) 中被广泛应用。通过这种方法,U-MLIP 可以为更聚焦的模型奠定基础,这些模型可以使用由更具体的化学或结构材料族或分子族构成的新数据进行微调。由于 U-MLIP 中的权重已在综合性数据集上被预先调节,与拟合一个新的势相比,微调过程通常需要更少的数据,并且可能得到比从零开始训练更低的误差。[28,74,80] 例如,Merchant 等人发现,微调后的 U-MLIP 的误差同样遵循关于其预训练数据规模的幂律[28] (即更大的预训练数据集规模带来更好的下游微调 U-MLIP)。M3GNet、CHGNet 和 MACE 的 Python 软件包已经支持微调,因此用户可以很容易地探索这一方法。
U-MLIP 有若干很有前景的使用场景。第一是它们可能通过提供一种在运行完整 DFT 计算之前快速将一组原子位置弛豫到更接近平衡位置的手段,从而大幅加速 DFT 计算。在开发 M3GNet 的工作中,Chen 和 Ong 讨论了此类加速如何可能将弛豫材料结构的 DFT 计算时间减少为原来的三分之一。[41] 这一应用在很大程度上对 U-MLIP 的不准确性不敏感,因为最终输出来自完整的从头算计算,因此极具吸引力。可以想象它会成为标准做法并产生巨大影响,在未来可能数十亿次的计算中显著削减典型的从头算计算时间。第二个使用场景是替代 AIMD 并超越其范围。与所有 MLIP 类似,U-MLIP 可用于模拟当前 AIMD 长度和时间尺度无法企及的大尺度、长时间动力学现象。这种对 DFT 和 MD 研究的加速有可能带来原子尺度建模的颠覆性变革,可能影响每年数千项研究。第三个使用场景是材料探索。与更具针对性的 MLIP 不同,U-MLIP 具有宽广得多的适用域,提升了可建模体系的化学与结构复杂度,而精度损失通常很小或极微。这使得 U-MLIP 在探索众多化学性质和结构方面特别强大,例如筛选某种性质,如 Li 离子电导率或高弹性模量。特别地,在面对众多组元时不存在伸缩性问题,使 U-MLIP 在探索化学与结构复杂的多组元材料方面处于独特的有利地位。因此,存在一个巨大的机会去在整个元素周期表范围内筛选材料性质,这在过去只能通过计算昂贵的从头算计算实现,而借助 U-MLIP,即便对中等大小的单胞也能快约 1000 倍。作为这类方法初步实践的一个演示,Chen 和 Ong 开发了 matterverse.ai,这是一个类似 Materials Project 的仓库,包含数百万个基于对合理材料结构和化学性质的物理考量所生成的假想结构,随后使用 M3GNet 势计算并筛选其形成能。[41] 类似地,Merchant 等人使用一个直接预测晶体形成能的 GNN 模型提出了 381,000 种新的稳定 (在 T = 0 K 时) 材料,将被预测为稳定的无机材料数量扩大了近一个数量级。鉴于生成式 AI 的快速进展,人们可以设想将生成式逆向材料设计方法与 U-MLIP 相结合以实现快速材料探索与筛选的可能性,例如使用 Xie 等人的晶体扩散变分自编码器 (Crystal Diffusion Variational Autoencoder, CDVAE)[81,82]、Zeni 等人的 MatterGen 模型[83]、Nguyen 等人的面向基于流的遍历的对称性感知分层架构 (Symmetry-aware Hierarchical Architecture for Flow-based Traversal, SHAFT) 模型[84]、Yang 等人采用统一晶体材料表示的扩散概率模型 (UniMat),[85] 甚至使用经训练以生成稳定晶体结构的大语言模型。[86,87] 将生成式方法与 U-MLIP 方法结合,可能提供一种强大的新途径,以发现那些通过常规筛选方法本不会被考虑的卓越新材料。
目前,U-MLIP 的主要缺点包括与更具针对性的 MLIP 相同的那些局限性 (见第 9 节),外加一个额外的 (且相当重大的) 局限:其真正的适用域相当不确定。虽然 U-MLIP 的适用域比针对性 MLIP 宽广得多,但目前可用的模型几乎肯定存在许多无法事先轻易预测的重大薄弱环节。例如,使用 U-MLIP 研究固态电解质中的 Li 扩散,可能对 95% 的材料给出出色的扩散率数值,但对 5% 的所考虑材料却相差甚远。
我们在第 7 节中讨论在 U-MLIP 当前发展阶段有效使用它们的一些策略。如第 6 节中关于 MLIP 执行速度的讨论所指出的,U-MLIP 通常也比针对性 MLIP 更慢。话虽如此,围绕一个或少数几个 U-MLIP 开展大规模、集中化的工作具有巨大的优势。这些优势包括能够高效地整合前沿改进,例如加入长程力、速度优化、多保真度学习、微调、不确定性量化等。或许正是将所有最佳实践和前沿方法汇聚于一处,有助于使 U-MLIP 的价值超过针对性 MLIP。总体而言,U-MLIP 代表了 MLIP 一项非常令人兴奋的进展,很可能对原子尺度建模领域产生重大影响。以下几个事实结合在一起:单一的势 (i) 可能很快就能以接近从头算水平的精度以及比从头算快若干数量级的速度产生能量、力和应力值 (或许还有额外性质,例如磁矩),(ii) 可以应用于元素周期表中几乎每一种化学相关元素,以及 (iii) 能够纳入日益复杂的物理,这提供了一种诱人的可能性:未来的 U-MLIP 或将作为材料建模真正的基础模型发挥作用,进而在无需显式训练的情况下取代相当大一部分显式量子力学计算。充分实现 U-MLIP 的潜力,将使研究人员能够快速、轻松地探索当前基于物理的方法实际上无法企及的问题,并极大提升原子尺度材料建模的整体影响力。
6. MLIP 的执行 (推理) 速度
当需要执行大量计算时,MLIP 的执行速度就变得重要,这类情况可能出现在长时间的 MD 运行或对构型空间和化学空间的大规模搜索中。在耗时方面需要考虑的关键问题是:用于计算的处理器 (CPU、GPU 或其他硬件的速度)、体系规模,以及 MLIP 类型 (例如复杂度,复杂度增加通常对应更高的精度和更慢的执行速度)。除非在硬件、超参数设置等方面进行适当控制的条件下对同样的计算进行直接比较,否则很难定量评估 MLIP 的速度。不过,有一些相关的研究可供参考,并且可以从文献中不同的性能报告中确定定性趋势。我们强调,此处给出的数值应当非常谨慎地视为定性参考,原因有几点。由于开发活动非常密集,多个团队一直在实现新的优化,很可能在来年若干代码包会获得显著的加速。对于任何以速度为关注点的深入研究,都应当把针对特定项目对最新版本代码包进行仔细的基准测试作为其中的一部分。一个常用的、允许在不同原子数、处理器数以及来自 MD 或其他多步模拟的步数之间进行某种比较的性能评估指标,是每原子每步的处理器·秒 (processor-seconds per atom per step):
$$\frac{N_{proc}}{N_{atom}N_{step}}\tau_{sim}\ \left[\frac{proc\text{-}s}{atom \cdot step}\right]$$
其中 $N_{atom}$ 是原子数[88],$N_{step}$ 是模拟中的步数 (其中 MLIP 的一步涉及对某一原子构型下所有原子的总能量和力的求值,例如在一个 MD 时间步中可能发生的情况),$N_{proc}$ 是所使用的处理器数量,$\tau_{sim}$ 是执行 $N_{step}$ 步所需的墙钟时间。每个量的单位在方括号中给出。请注意,处理器既可以是多核 CPU 上的单个核心,也可以是整块 GPU 处理器。高性能计算资源上典型的节点可能包含数十个核心以及多达 6 块或更多的 GPU。只要每个处理器有足够多的原子可处理,以 proc-s/atom/step 计的性能对 $N_{atom}$ 和 $N_{proc}$ 都不敏感。此处讨论的结果大多大致处于这一线性伸缩区间内。一个例外是 $N_{proc} = 1$ 的特殊情形,即在单个核心或单块 GPU 上运行模拟。此处的性能通常显著优于 $N_{proc} \gg 1$ 的更大规模并行计算,后者存在额外的 MPI 网络通信开销。对于 $N_{proc} = 1$ 这一特殊情形,性能就以 s/atom/step 为单位给出。所有性能结果都基于近几年 (相对于 2023 年) 典型的前沿 CPU 或 GPU。对于 CPU,它们提供约 1011 次每秒浮点运算 (floating point operations per second, FLOPS);对于 GPU (例如 NVIDIA® V100 Tensor Core GPU),约为 1012 FLOPS。请注意,在以下讨论中我们将给出近似的性能数值,因此通常四舍五入到最接近的数量级。
首先,我们考虑在接近最优条件下、在单个 CPU 或 GPU 处理器上运行的性能,其体系规模合理 (例如 100–1000 个原子),能够放入 CPU/GPU 的内存限制内。已经实现了在并行执行下伸缩到极大体系规模的良好表现,下文将进一步讨论。图 6 展示了若干显式 AEF 类 MLIP (见第 4.3 节) 在不同复杂度水平 (即基组大小) 下的耗时数值。[1,60] 拟合良好的显式 AEF 类 MLIP 的范围约为 10-5 到 10-3 s/atom/step (注意,对于一个处理器而言这就等于 proc-s/atom/step),具体取决于所使用的自由度数量,后者通常由基函数展开中所包含的项数决定。较快的显式 AEF 类 MLIP (例如 MTP 和 ACE) 的典型速度约为 10-4 s/atom/step。作为耗时的一个具体例子,Bernstein 使用 MD 评估了 GAP、ACE 和 MACE 势在 1024 原子 CuxAl1-x 合金元胞上的表现。[88] 他发现 ACE 的耗时范围约为 0.06×10-3 到 0.18×10-3 s/atom/step,而 GAP 较慢,为 2.1×10-3 s/atom/step,二者均在单个处理器上计算。MACE 在单块 NVIDIA A100 GPU 上的耗时范围为 0.042×10-3 到 0.12×10-3 s/atom/step。作为参考,对于典型元素组成的约 100 原子单胞,前沿代码中标准的良好收敛 DFT 耗时约为 103 s/atom/step;ReaxFF 势 (最复杂的基于物理的传统势之一) 约为 10-3 s/atom/step;而 Lennard-Jones 和 EAM 原子间势 (最快的基于物理的势之一) 约为 10-6 s/atom/step。[89]
接下来,我们考虑基于深度学习的 MLIP 的耗时。深度学习 MLIP 通常与非深度学习的显式 AEF 方法相当,或稍慢一些,尽管由于前者常在 GPU 上运行而难以比较。尽管如此,仍有一些结果能给出深度学习 MLIP 在不同条件下相对速度的定性认识。DeepMD 在 CPU 上通常约为 10-3 proc-s/atom/step,在一项直接比较中,在 GPU 上被加速约 40 倍 (即约 10-4 proc-s/atom/step)。[90] M3GNet,[41] 它建模了非常大量的元素 (89 种) 并且是我们所称的 U-MLIP (见第 5 节),在单个 CPU 上执行 K57Se34 的结构弛豫约需 10-3 proc-s/atom/step,选择该例是因为其在弛豫过程中能量变化很大。最近对 Matlantis 的 PFP U-MLIP 的测试表明,在 GPU 上以 LAMMPS 对 100–1000 原子单胞运行 MD 时约为 10-3 s/atom/step。[91] 这些数值大约比在单个 CPU 上运行的、在相同体系上良好收敛的 MTP 和 ACE 拟合慢 5 倍,比在大量 CPU 上运行的相同计算慢约 50–100 倍。
一个提升 MLIP 速度的有趣发展方向是超快 (ultra-fast) 方法,[42] 它使用计算上廉价的样条函数来描述原子环境,并使用线性回归进行能量/力的预测。超快方法所产生的势与现有 MLIP 相比极其快速,代价是灵活性受限以及对复杂体系可能有更大的误差。例如,此类势比典型的显式 AEF 类 MLIP 快约 103 倍,在某些测试案例中具有与 SNAP、GAP 和 MTP 相近的预测精度,使其达到约 10-6 s/atom/step,与最快的简单 PBP 相当。
高效的架构以及扩大用于求值 MLIP 的 CPU 和 GPU 数量可以带来大幅加速,这对于速度稍慢的深度学习方法尤其有用。请注意,这些耗时数值比上文的略快,很可能是因为纳入更多原子使得处理器的利用更加高效。DeepMD 在约 1.27 亿个 Cu 原子上达到了约 10-5 proc-s/atom/step,SNAP 在约 200 亿个 C 原子上达到了 10-6 proc-s/atom/step,二者均在 27,900 块 GPU (Summit 机器上的 4650 个节点) 上运行。[92] 一个特别针对伸缩性和性能优化的深度学习 MLIP 是 Allegro,[13] 它使用严格局域的等变神经网络和类 ACE 的原子特征,虽然它可以在 CPU 上执行,但最好在 GPU 上运行。Allegro 的水模型分别在 4、64、1024 块 GPU 和 105、106、107 个原子的情形下达到了约 10-5 proc-s/atom/step。[93] 请注意,超参数 (即复杂度) 的选择可以使这一近似耗时改变一个数量级,并且这是针对一个最优调优的 MLIP 而言的。为提高执行速度,通常先使用一个更复杂的模型来验证训练数据和学习过程的保真度,然后再缩减其规模,同时仍以足够的精度重现所关注的目标性质。
图 6. 一组主要 MLIP 在 (a) Cu 和 (b) Si 分子动力学计算中的计算成本 (MLIP 速度) 趋势 (在一个 CPU 上以 108 个原子运行 2500 步完成)。不同颜色对应不同的 MLIP,同一颜色的各点对应更大的基函数集,这通常带来更高的精度和更大的计算成本。缩写为原子团簇展开 (ACE)、高斯近似势 (GAP)、矩张量势 (MTP)、神经网络势 (NNP)、谱近邻分析势 (SNAP) 和二次型 SNAP (qSNAP)。图中数据原始来自文献 [1],经许可复制自文献 [60]。
作为另一个针对规模和速度特别优化的 MLIP 的例子,基于 C++ 并带 Python 封装的 FLARE 势的 GPU 实现,[25] 被用于在 27,336 个 GPU 节点上对 0.5 万亿个原子建模 H2/Pt(111) 的多相催化,达到了 10-6 proc-s/atom/step。[94] 然而,FLARE 在 CPU 上的速度相较 GPU 显著下降,降至约 10-3 proc-s/atom/step。值得注意的是,对于这些测试中所使用的 Summit 硬件 (NVIDIA V100-16 GB GPU),SNAP、FLARE 和 Allegro 的性能都在约 105 原子/GPU 附近开始显著偏离时间倒数随处理器数的线性伸缩 (即恒定的 B 值)。虽然这些耗时数据令人印象深刻,但重要的是要认识到 PBP 同样可以利用并行化和 GPU。例如,一个基于 Martini 势的 GPU 加速经典力场模型最近使用六块 V100 GPU 在 136,000 个粒子上达到了 6 微秒/天 (B = 10-9 proc-s/atom/step)。[95]
总之,从上述耗时数据中我们至少可以得到两条重要教训。第一条是,与 PBP 类似,某些 MLIP 可以扩展到甚至数千亿个原子。这些计算通常需要多块 GPU,获取起来可能有挑战,但相关选项正变得越来越可得 (见第 8 节关于 MLIP 基础设施的讨论)。第二条是,我们在单个 CPU 上注意到的一般速度趋势——即简单 PBP 最快,其次是显式 AEF 类 MLIP,最后是隐式 AEF 深度学习 MLIP——在更大规模的计算中基本仍然成立。话虽如此,我们强调 MLIP 拟合与优化的细节对大规模计算可能影响很大,因此如果要开展此类研究,应当仔细选择最优方案。
7. MLIP 的选择 —— 我该在何时使用什么?
在选择 MLIP 时,可以考虑许多因素。我们在本节中列出其中的一些因素,并就如何思考每一个因素提供一些指引。我们从硬件、精度和速度这些基本方面出发,然后推进到追求某个特定 MLIP 的细节。
7.1. 硬件资源
无论是拟合一个新的势还是使用一个预训练的势,硬件资源都可能是选择 MLIP 时最初的决定性因素。一般而言,诸如 MTP、ACE、SNAP 和 GAP 之类的显式 AEF 类 MLIP 相比基于 NN 的 MLIP 具有更少的参数和函数,并且在 CPU 上运行良好。另一方面,基于 NN 和基于 GNN 的 MLIP 大多依赖 GPU。某些势 (如 MTP) 目前只能在 CPU 上运行,而 ACE 在使用 GPU 拟合时更快,但可以在 CPU 和 GPU 上用于 MD 模拟。基于 NN 的 MLIP 主要是为使用 GPU 进行拟合和使用而设计的,尽管它们也可以在 CPU 上运行,但 CPU 相较 GPU 计算通常会慢 10–100 倍 (见第 6 节关于 MLIP 耗时的讨论)。这些趋势通常表明,如果你只能使用 CPU,那么显式 AEF 类 MLIP 很可能是最佳选择,因为它们必定能运行,并且通常以合理的速度运行。如果你能使用 GPU,那么显式 AEF 和基于 NN 的 MLIP 都是潜在的好选择。鉴于 U-MLIP 日益重要,以及在训练和执行许多 MLIP 时会用到 GPU,如果你计划大量使用 MLIP,那么很可能建议至少配备一块高性能 GPU。除上述讨论之外,在以 SaaS 形式商业部署的 Matlantis 中,PFP 通过 API 提供,允许用户在无需考虑环境设置和计算设备优化的情况下执行推理。在实践中,推理是在后端 GPU 或名为 MN-Core 系列的特定深度学习加速器上执行的。[96]
7.2. 速度要求
总体模拟时间取决于体系规模、模拟中的执行步数、可用的硬件资源以及 MLIP 的计算成本。假设前三个因素由用户的项目和基础设施需求所固定,那么 MLIP 框架就决定了总体模拟时间。如第 6 节先前所讨论的,显式 AEF 类 MLIP 比隐式 AEF 深度学习 MLIP 快约 10–100 倍。如果计算成本不是限制因素,深度学习 MLIP 通常提供最高的精度,可以采用。否则,用户可以选择任何能提供所需精度的显式 AEF 类 MLIP。
7.3. 精度要求
虽然 MLIP 的前景是相对于从头算方法达到任何期望的性质精度,但在实践中,为了在可用资源下将 MLIP 的计算成本保持在合理范围内,MLIP 存在一个精度上限。MLIP 精度的一个限制因素源于早期 MLIP (如 Behler-Parrinello NN、GAP 和 SNAP) 对原子环境的描述不充分:局域环境的三体 (乃至四体) 描述符是不完备的,这一点已被明确证明。[185] 较新的 MTP 和 ACE 形式体系引入了新方法,使用高体阶基函数给出对原子环境系统可改进的描述,并使用线性回归学习 PES,从而在保持计算成本可控的同时提高了 MLIP 的精度。近年来已经表明,等变 GNN 能够以实际可行的计算成本达到非常高的精度,NequIP、Allegro、TeaNet、SO3krates[97] 和 MACE 就是这类方法的例子。因此,作者建议,如果有 GPU 可用,使用诸如 NequIP、Allegro、TeaNet、SO3krates 或 MACE 之类的等变模型进行训练很可能会产生最高的精度。此外,已经发现,与从零开始训练一个新的 MLIP 相比,对一个预训练的势进行微调可能获得更高的精度,即便对于相较训练数据而言属于分布外的任务也是如此。[80] 在作者的一些亲身经验中,我们发现对于真实体系,在有充足训练数据可用的情况下 (意味着我们可以按需持续运行更多 DFT,直到看到势的改进甚微),诸如 ACE 之类的 AEF 方法在能量和力上的均方根误差 (root mean squared error, RMSE) 往往是诸如 MACE 之类的 GNN 方法的 2–3 倍。如果手头只有 CPU,作者建议目前使用 MTP 或 ACE,直到 GNN 软件包在 CPU 上被高效实现为止。这些不同方法的实现很可能会随着流行硬件的利用而改进和多样化,因此我们预期该领域将迅速变化。
7.4. 使用预训练的势
根据研究类型的不同,人们可能决定使用预训练的势或从零开始拟合一个势。如果能从一个预训练的势出发,很可能会节省大量时间,因此这是合乎逻辑的首要探索步骤。预训练的势可以在在线仓库中找到,或通过检索科学文献找到。例如,针对特定体系的预训练针对性 MLIP (例如 Cu 的 GAP 势) 可以在 NIST 原子间势仓库 (NIST Interatomic Potentials Repository) 和原子间模型开放知识库 (Open Knowledgebase of Interatomic Models, OpenKIM) 上找到。[98–100] 在决定使用一个预训练的势时,必须确保该势适合于该项研究。鉴于 U-MLIP 近来的可得性以及它们在众多体系上的易用性,它们代表了一个有吸引力的选项,并且从各自的仓库中导入预训练版本的 U-MLIP 是很简单的。[101–103] 然而,尽管 U-MLIP 相对于其从头算训练数据通常具有较低的能量和力误差,但这些低误差并不能保证其预测准确材料性质的能力 (见第 5 节),并且它们尚未在大多数体系上针对材料性质的准确预测得到充分验证。因此,尽管有一些令人印象深刻的成功案例 (见第 5 节),仍然很有可能有许多性质——从空位形成能到熔点——被错误地预测。此外,U-MLIP 可能比其他 MLIP 或 PBP 方法更慢 (见第 6 节),因此应当考虑速度要求。然而,鉴于此类 U-MLIP 在过去短短几年中的迅速崛起,很可能会有更多的性质预测基准评测出现,并且对 U-MLIP 的迭代改进 (例如通过微调) 将进一步有助于提升其精度和泛化能力。就目前而言,有一些简单的策略可以用来最有效地应用 U-MLIP,我们在此加以总结:
-
验证 U-MLIP 对你所关注体系预测的能量和力。 确保一个未经测试的 MLIP 对特定体系和目的具有准确性的一种方法,是为你的问题运行一些相关的从头算模拟,并比较从头算与 U-MLIP 的能量和力。应当注意选择与该 MLIP 所用训练数据一致的从头算设置,例如泛函、能量截断、k 点密度等 (例如为 GGA + U 计算选择正确的赝势和 Hubbard U 值)。良好的一致性有力地支持该 U-MLIP 适用于你的体系。这样的基准测试只需在小单胞上做少量静态从头算计算即可完成,因此可以相当快。使用与所关注性质直接相关的基准很可能是最佳做法,例如化学反应的活化态,或用于层错能的伽马曲面上的少数几个点。
-
验证 U-MLIP 对你所关注体系的性质预测。 在许多情况下,上述基准测试可以很容易地扩展到包括比较从头算与 U-MLIP 对特定关注性质的计算,例如一组声子色散曲线、扩散系数或缺陷形成能,尤其是对小体系或简化情形。目标性质上的良好一致性比仅在选定结构上具有相近的能量和力,能提供对 U-MLIP 更大的信心。例如,人们可以用从头算和 U-MLIP 在一个小单胞中计算扩散系数,如果得到相似的结果,就将该 U-MLIP 应用于大得多的体系或不同的组分。
-
将 U-MLIP 应用于那些易于检测失败或对失败不过分敏感的问题。 许多应用可能不会因 U-MLIP 的间歇性失败而受太大影响。例如,使用 U-MLIP 为其他从头算计算做预弛豫是一个非常稳健、能容忍 U-MLIP 失败的应用,因为最终计算结果并不直接依赖于 U-MLIP 的精度。此外,预弛豫中的失败可以通过与相应的从头算弛豫对照检查而被轻易识别和纠正。如上所述,在开发 M3GNet U-MLIP 时,Chen 和 Ong 评述说,在执行从头算计算之前用他们的 U-MLIP 预弛豫假想结构,相比对未弛豫结构直接运行从头算,可节省约 3 倍的时间。[41] 另一个例子可能是使用 U-MLIP 对大量候选材料就某一特定性质进行初步筛选,其中在初始步骤中可能不需要高精度的计算。U-MLIP 的失败可能导致假阳性 (保留了不理想的材料) 或假阴性 (剔除了有前景的材料),但后续用完整的从头算计算进行筛选可以捕获假阳性,并且通常筛选往往更侧重于获得少数成功案例,而非确保没有假阴性。最后一个例子是生成物理上相关的原子构型 (这些构型随后需要用从头算方法计算),用于训练更具针对性的势,这是 U-MLIP 可能有助于加速更针对性 MLIP 开发的一种方式。
尽管 U-MLIP 前景令人振奋,但其适用性方面的高度不确定性意味着,目前许多从业者仍然要么拟合自己的势,要么使用专门针对所研究材料拟合的预训练势。作为与此不同的一个新趋势,一些早期采用者研究人员已开始在不进行微调的情况下执行计算。例如,Matlantis 提供预训练的 U-MLIP (PFP),目的是让用户无需进行微调即可开展实用的模拟。在所有情形下,重要的仍然是该势所用的训练数据在原子结构、化学状态和相关物理方面与所考虑的研究类型保持一致。例如,(i) 一个在原始晶体相以及带层错和空位的晶体上训练的 MLIP,可能不适合用于研究同一材料的非晶相;(ii) 一个在低价态过渡金属上训练的 MLIP 可能无法很好地表示这些同样金属的高价态;或 (iii) 一个基于诸如 DFT-PBE 泛函之类的从头算方法训练的势,可能不适用于层状材料或熔盐,因为在这些体系中 vdW 贡献显著 (尽管在这种情况下该势或许可以通过添加经验性 vdW 修正来加以校正)。一般而言,对于所有 MLIP,除非某个使用场景与先前发表的或经充分验证的工作非常接近,否则都应尽可能针对该特定使用场景验证其能量、力和性质预测。与上述问题相关的许多考量很可能也与选择最优的预训练势有关,但由于该势已被开发出来,原作者很可能已经考虑过这些事项 (例如为他们所运行的硬件选择了合适的势等)。因此,人们可以从早先的工作中获得关于最佳使用方式的指引。话虽如此,了解不同的势在上述问题方面的表现或许仍然有用,因此在下一节中我们将在拟合一个新势的语境下总结关键的关注点。
7.5. 拟合一个新的势:一般工作流
7.5.1. 基本思路
如果没有可用的预训练势,就需要选择一个 MLIP 框架并从零开始拟合一个势。在本节中,我们提供一些来自实践经验的策略和指引,以帮助新用户着手选择要拟合的 MLIP。除了上文使用预训练势时的那些考量之外,在拟合自己的势时还会有一些新的因素变得相关,我们在此加以讨论。
拟合 MLIP 背后的基本思路与几乎所有回归 ML 问题相同。人们定义一个损失函数,并调整 ML 模型的参数——通常使用某种矩阵求逆或反向传播——直到损失函数被最小化。对于 MLIP,损失函数通常是若干目标上 RMSE 的加权和,这些目标通常是原子上的力和总能量,但也可以包括其他性质,例如应力张量、位力、极化率等。通常最重要的项是力和能量的 RMSE,报告这两项是标准做法。重要的是要认识到,尽管 MLIP 的拟合与其他 ML 模型类似,但利用领域知识 (来自物理、化学和材料科学) 来执行成功的训练与评估是有帮助的,我们称之为科学信息引导的拟合 (science-informed fitting)。科学信息引导的拟合非常有帮助,至少在目前是这样,因为 MLIP 拟合几乎肯定不会对所有可能的原子构型都完美,因此建议用户运用其领域知识来开发一个足以满足其需求的模型。
目前,对于拟合 MLIP,尚不存在公认的标准或被广泛接受的最优工作流。然而,多位作者已经提供了非常有帮助的文章,涵盖了主要的考量并提供了出色的实用指引。[104–107] 在此,我们描述典型的一般工作流,然后深入其实施相关的一些细节问题与选择。此外,第 8 节提供了一套用于生成或获取训练数据、拟合、比较和部署 MLIP 的标准流程和软件。一般做法是生成一组初始的从头算数据 ${s_1}$,由与你所关注问题相关的原子构型构成 (例如用于研究熔体的液态构型、用于研究声子的不同振动模式,或用于研究分子体系的多种畸变)。然后,对 ${s_1}$ 的约 80% 拟合一个初始的势,并在留出的约 20% 的 ${s_1}$ 上测试以评估能量和力的精度 (这一方法及下文的细节可以很容易地推广到其他目标量,如果使用了它们的话)。在训练 GNN 的情形下,常见做法是在 80% 的数据上训练,保留 10% 用于验证 (以指导 GNN 训练过程)、10% 用于测试。如果拟合质量不足 (例如力和/或能量的 RMSE 过高),则开发额外的数据,将其加入 ${s_1}$ 以形成一个新的数据集,我们称之为 ${s_2}$,然后进行类似的评估。如果 ${s_1}$ 足够大,则可能不需要迭代。如果体系复杂且/或每一步添加的数据集相对较小,那么这可能需要多次迭代。不同 ${s_i}$ 的原子构型通常基于用户对所关注应用中重要构型的直觉 (例如材料中已知的稳定化合物)、来自 MD 轨迹的独立样本、主动学习的指引,或所有这些方式的某种组合来确定,具体取决于应用。获得理想拟合所需的数据量可能各不相同,但对于典型的含 3–4 种物种的体系,训练中所用的总能量数 $N_E$ 和力的数量 $N_F$ 大约为 $N_E \sim 10^3$ 和 $N_F \sim 10^5$。这个估计非常粗略,模型类型和架构 (例如 MTP 与 ACE、等变特征与不变特征等) 也会影响结果。特别是对于深度学习方法,误差随训练数据量的变化 (学习曲线) 预期遵循幂律,但幂律指数可能显著依赖于 MLIP 的具体细节。[108]
7.5.2. 测试数据的确定
我们讨论的第一个势拟合问题是确定用于验证 MLIP 拟合的有用测试数据集的策略。如果数据不是高度相关的,随机交叉验证 (cross-validation, CV) 或 k 折 CV 都是合理的。然而,如果数据包含许多相似的条件,例如来自 AIMD 轨迹或对现有结构小幅扰动所生成的数据,那么这些随机 CV 方法将产生过于乐观的预测结果。预测之所以过于乐观,是由于"孪生 (twin)"问题,即极其相似的数据同时存在于训练集和测试集中,因而模型的预测反映的是与训练数据看起来一模一样的数据。在数据高度相关或以其他方式相似的情况下,可以通过比较从头算与 MLIP 在新条件下的预测来更稳健地评估该势,例如在新温度下的 MD,或在比训练时所用时间晚得多的时刻的 MD。在此类情形下评估 MLIP 更好的方式,是在预期的或接近预期的使用场景中应用该 MLIP,并检查在那些条件下选定构型上的误差。例如,假设你试图预测低温甚至室温下固态电解质中 Li 的扩散。大部分训练数据可能是较高温度下的 AIMD 轨迹,以便发生许多 Li 跃迁。好的测试数据的一个例子是用 MLIP 模拟低温跃迁,提取发生跃迁的构型,用从头算方法运行这些构型,并比较这些构型下从头算与 MLIP 的能量和力作为测试。显然,在可能的情况下,测试该势预测所关注性质的能力至关重要。继续上面的例子,人们应当确保在从头算模拟可靠且能良好收敛的较高温度条件下,从头算与 MLIP 预测的 Li 扩散相吻合。然而,广泛的性质测试通常是困难的,因为难以获得稳健的基准真值,即便使用 MLIP,恰当的模拟往往也需要很长时间才能得到基准真值,并且通常可供比较的性质数值相对较少 (例如可能只有 5–10 个密度或扩散系数,而力则有数千个)。这种悬殊使得人们希望在开始大量的性质探索之前,尽可能多地知道某个势是否会稳健。这种稳健性通常通过能量和力的误差来评估,这就引出了第二个问题。
7.5.3. 所需的能量与力精度
我们讨论的第二个势拟合问题是,测试数据中需要何种程度的能量与力精度,才能确保得到一个有用的 MLIP,我们所说的有用是指该 MLIP 可用于广泛的模拟,并对所关注的性质给出准确的预测。目前,这个问题没有确切的答案。可达到的精度将取决于所探索的条件、所考虑的元素物种和结构的范围,以及 MLIP 的类型。例如,仅含一种元素的简单液相可能产生比建模复杂表面在高温下氧化小得多的相对误差和绝对误差。然而,即便学习单元素体系也仍然存在挑战。例如,Owen 等人[109] 发现,早期过渡金属的相对误差高于后期的铂族和铸币金属族元素。这种明显的学习困难被归因于费米能级上下尖锐的 d 电子态密度,由此产生的复杂物理使得 PES 难以学习。在他们对过渡金属的研究中,相对能量和力误差跨越了约 10 倍的范围。话虽如此,对于非常好的拟合,能量和力误差的典型值分别在 1–10 meV/原子 和 20–40 meV/Å 范围内,尽管在名义上成功的 MLIP 中也报告过高达约 100–200 meV/Å 的力误差。[1,109] 训练得非常精确的 MLIP 可以在能量、力和应力张量分量上分别达到约 1 meV/原子、10 meV/Å 和 0.1 GPa 量级的误差,尽管在实践中人们可能会发现稍高 (例如 2 倍) 的能量、力和应力误差,这高度依赖于体系和势。
合理的假设是,对于一组相关且多样的训练数据,更低的能量和力 RMSE 通常会转化为更准确的性质预测。然而,视应用而定,低的能量、力和应力误差可能并不是确保准确性质预测的充分判据。[110,111] 此外,一个在大量化学性质多样的体系上训练的 MLIP,其能量和力 RMSE 可能因元素或化学类型 (例如氧化物中的缺陷与单质金属)、体系状态 (例如固态与液态) 以及模拟条件而大幅变化。显然,MLIP 的精度至多与用于训练它的从头算方法一样好,因此在此处的讨论中我们假设从头算方法给出准确的结果。在所有情形下所有原子上的 RMSE 都可忽略的情况下,可以预期该 MLIP 本质上等价于用于训练它的从头算方法,并且理想情况下会给出稳健的性质预测。然而,由于对离群点的预测不佳,这一理想情形在实践中难以达到。RMSE 值是对众多构型的平均,因此即便是低 RMSE 的 MLIP 也可能存在具有显著误差的离群点。如果这些离群点对某个给定性质很重要,那么预测可能就不准确。再次参照上面的例子,一个在大量 Li 导电化合物从头算 MD 模拟数据上训练的 MLIP,可能在所有不同原子类型的能量和力上都表现出非常低的 RMSE,但仍然无法准确捕捉 Li 跃迁过程中的活化态能量 (即该活化态是一个离群点),从而给出不准确的扩散系数。RMSE 低但模型无法捕捉某部分物理,这一结果类似于开发标准 ML 回归模型时常出现的情形,即模型在插值任务 (测试数据与训练数据相似) 中通常可靠,但在其他任务上不可靠,即便在形式上并非外推。[86]
作为研究中遇到的 MLIP 外推问题的一个具体例子,Zhai 等人[112] 证明,一个广泛使用的深度神经网络势即 DeepMD,可以可靠地重现液态体相水的性质,但对气液平衡性质的描述则不够准确。这个问题可能被两个潜在问题所加剧:(1) ML 架构无法捕捉本质的对称性和物理,例如多体相互作用;(2) 训练数据在结构或化学空间中完全不是均匀分布的,这是当数据从 MD 采样或偏向被广泛研究的组分时的常见问题,从而在训练稳健的 MLIP 时导致数据不平衡问题。正如上文关于研究 Li 导体的假想案例中所讨论的,避免此类问题最简单的方法是确保训练数据尽可能多地采样相关的构型空间。如果你关心预测扩散,那么就使用包含大量跃迁活化态的训练数据;如果你关心预测体积模量,那么就使用来自一系列不同应力的训练数据。另一种改善可预测性的方法是改变评估指标,以纳入对重要离群点上力的预测。这一技术是由 Liu 等人提出的,当时他们观察到即便在训练中纳入了缺陷,迁移势垒上仍可能出现大的偏差。[113] 为 MLIP 考虑相关的基于稀有事件的指标 (例如扩散跃迁、缺陷、原子振动的精度) 是重要的,因为正是在这些构型上力的误差可能很大。
确保势稳健的另一个复杂之处在于,小的 RMSE 并不能保证模拟稳定。[111] 所谓稳定的模拟,我们特别指长时间 (例如数十纳秒) 的 MD 模拟。[114] MLIP 在 MD 模拟中有变得不稳定并崩溃的倾向。视你的需求而定,这可能使该势变得毫无用处。我们推测,势的崩溃通常是由于体系探索到了力不准确、且力的变化对 MD 时间步而言过快的构型空间区域。这导致误差累积并最终引发数值不稳定性。换言之,MD 所执行的运动方程数值积分变得不稳定,因为至少在模拟的某些部分,能量和力在 MD 时间步的时间尺度上并非缓慢变化。如果势变得非物理,这样的事件并非不可能发生,因为 MD 时间步通常取为 1–2 fs,是针对物理上真实的体系调优的。这个问题可以通过从逐步更加多样化的训练数据出发来减轻。它也可以通过对 MLIP 模拟中恰好在观察到不稳定之前的构型运行从头算计算以获得新的训练数据来补救,这可以在重新训练后使模型稳定下来。也可以标记在使用 MLIP 过程中出现的、在某种意义上位于训练数据域之外的构型,并运行从头算计算以将这些情形添加到训练数据中。训练数据的域通常使用某种与训练数据差异的度量来确定,例如带 D 最优性的主动学习 (下文进一步讨论)。[115,116] 这些基于域的方法在为 MD 建立稳定的势方面相当有效,并被广泛使用。此类方法可能需要多次迭代,并且事先并不清楚需要多少次才能达到稳定的模拟,尽管通常不超过 5 次迭代。上述讨论为训练和测试数据提供了许多定性指引,但并未给出组建训练数据库的任何具体方法,这就引出了我们对第三个重要问题的讨论。
7.5.4. 训练数据的确定与主动学习的使用
我们讨论的第三个势拟合问题是应当如何选择训练数据。同样,这没有唯一确定的答案,但有一些有用的指引。最简单的方法是运用领域特定的直觉来开发一个多样、相关且庞大的训练数据库。这比听起来要容易,并且鉴于现代从头算方法的速度,往往相当可行。这种"直觉结构"方法的优势在于相对易于实施,能很好地利用材料知识,并且往往在实际可行的时间内产生一个良好的 MLIP。然而,就以最少的训练数据获得最佳的势而言,该方法几乎肯定不是最优的,它不易自动化,并且对于同时针对众多元素和多种物理的 MLIP 可能伸缩性不佳。旨在解决这些问题的另一种方法是主动学习 (active learning),接下来将加以描述。
为了最高效地生成训练数据,用户有几种选择,而主动学习通常是有用的。请注意,我们所说的主动学习是指一种迭代方法,它利用一组拟合的结果来建议在下一次拟合中应添加的最佳新训练数据,以优化某个条件,例如创建一个在某性质上具有最低 RMSE 的 MLIP。图 7 提供了使用主动学习训练 MLIP 的总体概览。要应用主动学习,模型需要在构型采样过程中能够获得不确定性估计。当不确定性较高时,会自动调用一次基准真值计算 (即从头算计算)。MLIP 最常用的主动学习方法包括 D 最优性、[116] 高斯过程回归、[25] 由 GNN 委员会查询、[117,118] 贝叶斯推断力场,[119–121] 以及使用偏置势的不确定性驱动 MD 模拟。[122,123] 主动学习过程通常利用原子环境的特征化来自动引导对未见且不相关原子构型的搜索,以改善模型的可预测性。因此,实施主动学习需要能够获取 MLIP 中所使用的特征化,并且当它被内置于 MLIP 软件包中时最易于应用。例如,诸如 MTP、ACE 和 FLARE 之类的 MLIP 在其拟合流程中内置了主动学习功能。也可以使用独立于 MLIP 的特征化来实现自己的主动学习框架。诸如 Dscribe[124] 和 matminer[125] 之类的软件包可用于对原子构型进行特征化,以开发自己的主动学习或其他数据生成方法。
在此我们给出近期研究中所用拟合方法的几个例子。Attarian 等人[126] 在一项使用 MTP 势研究共晶组分 FLiBe 盐性质的工作中,探索了直觉结构与基于 D 最优性的主动学习。他们发现两种训练数据生成方式都得到了稳健的势,尽管主动学习方法更高效,因为它以不到一半的训练结构数量 (600 个对 1400 个结构) 产生了大致相同的预测误差。Vandermause 等人的工作也比较了主动学习与随机采样的使用,他们发现主动学习带来了更高效的 MLIP 训练 (即每添加一份训练数据所降低的 RMSE 更多),并且相较随机采样具有总体更低的 RMSE。[25]
还有一些不依赖主动学习的高效生成训练数据的方法。例如,在最近一项使用偏置势的研究中,Kulichenko 等人融合了委员会查询与元动力学的思想,以建模甘氨酸中质子转移的相空间。[122] 使用偏置势而非高温 MD 模拟,可以生成低能和高能构型,从而避免采样不必要的结构畸变。当主动学习的主要目的是向训练数据中添加弱相关或不相关的构型时,偏置势可能是一种直接且高效的方法。作为第二个例子,在他们对 Mo 的研究中,Chen 等人概述了使用主成分分析选择训练结构,以及使用差分进化算法选择超参数。[127] 他们的流程使用 SNAP MLIP,在弹性常数、熔点以及表面能和晶界能方面达到了接近 DFT 的精度。作为第三个例子,Vandermause 等人为 Al 中的空位和吸附原子扩散构建了一个 FLARE 势,其训练数据是即时 (on-the-fly) 获取的,当 GPR 误差棒变得过大时就执行选定的 DFT 计算。在他们的 MD 运行中,他们发现大多数 DFT 计算调用发生在运行开始附近,在 MD 时间达到 400 ps 之后就没有 DFT 查询发生了。[25]
开发训练数据的一个有价值的工具,是使用经典 PBP 或 U-MLIP 生成一大批初始原子构型,然后对其进行智能采样以获得用于训练数据的 DFT 运行。这种采样可以如上文所述通过主动学习完成,也可以通过其他方法完成。例如,可以使用聚类算法基于某些相似特征将不同的构型分组,随后从每个簇中选择一批构型用从头算方法计算并用作训练集。用户可以利用诸如 Dscribe[124] 之类的软件包对原子构型进行特征化,并利用诸如 scikit-learn 之类的 ML 软件包进行聚类。最近,增强采样技术已被用于加速稀有事件的采样,并将该采样与主动学习流程结合,以生成能够描述稀有事件的 MLIP 的训练数据集。[122,123,128]
7.6. 拟合一个新的势:更具体的考量
7.6.1. 化学复杂度
如第 4.3 节所讨论的,按目前的表述形式,大多数显式 AEF 类 MLIP 的一个缺点是它们随物种数量的伸缩性很差。这种伸缩性导致对物种数更多的体系,无论在训练还是在用该势执行模拟时,计算成本都更高。例如,FLARE 的执行时间通常极快 (见第 6 节),但它随训练集规模和化学复杂度的伸缩性可能很差。一般规律是,当 FLARE 稀疏高斯过程的训练集中约有 $N_{env}$ = 1,000,000 个环境时,其更新 (即模型参数的重新训练) 可能变得代价高昂到不可承受,其中 $N_{env} = O[(\text{训练用从头算帧数}) \times (\text{每帧原子数}) \times (\text{物种数})^2]$,而一帧是指一组从头算计算得到的力和能量 (请注意 100 万个环境是一个上限,实践中 FLARE 用户在使用超过 60 万个环境时可能会遇到运行缓慢和内存需求大的情况)。[121] 随物种数量的二次伸缩对化学复杂体系尤其构成限制,因为显式 AEF 类 MLIP 能处理的训练数据更少,但通常需要足够多样的训练数据以探索众多化学构型。以上述 FLARE 的极限作为具体例子,对于单一物种的体系,离线训练 (其中从头算计算的帧已经算好并可用于拟合) 大约可支持 4000 个训练帧 (每帧 250 个原子),而对于 5 种物种,该伸缩关系将用户限制在约 150 帧,这很可能太少而无法拟合出准确的势。MTP、ACE 和其他显式 AEF 类 MLIP 存在类似问题,简要查阅文献可以发现,几乎所有使用这些显式 AEF 类 MLIP 的拟合都针对 5 种或更少的化学物种。作者最近尝试使用 Nvidia Tesla v100-32 GB GPU 对一个含 12 种物种的氯化物盐体系用 3500 个训练数据拟合 ACE 势,结果在最开始就失败了,代码甚至没有启动训练。关于伸缩性问题更深入的讨论见第 4.3 节。[29]
7.6.2. 训练需求
训练一个 MLIP 的难度是选择适合你项目的 MLIP 的关键因素。需要考虑的关键事项包括训练数据的数量 (以及可能的多样性) 和训练时间。在其他条件相同的情况下 (例如对于相同的化学体系和期望的精度),不同势的训练数据需求可能相当不同。例如,最近用 DeepMD 和 MTP 训练了熔盐 FLiBe 势。[126,129] 两种方法都产生了优秀的势,但 MTP 拟合所用的数据量不到 DeepMD 数据量的 1% (不过应当指出,这并非同一批作者在完全相同条件下的正面对照比较,因此只应作为这些势之间训练数据差异的定性参考)。早期的深度学习 MLIP[129,130] 所需的训练数据远多于显式 AEF 类 MLIP,但对于更新的等变深度学习 MLIP 而言这似乎不再成立,后者的数据效率高得多。例如,使用 NequIP 的研究报告称,相对于 DeepMD,在数据需求方面有 1000 倍的改进。[131] 然而,即便深度学习 MLIP 和显式 AEF 类 MLIP 需要相同数量的训练数据,前者的复杂度通常也会使其训练更慢。
7.6.3. 拟合的易用性 (工具与超参数)
拟合过程的难易程度也是考虑使用哪种势的一个关键因素。首先,重要的是该势要有配套的良好拟合工具,以便于拟合,理想情况下带有主动学习。大多数流行的势现在都提供了此类工具,并且更多工具正在快速开发中,因此我们不再赘述这一要求,只假定对任何可能考虑的势它都已满足。更根本地说,超参数更少的势显著更易于使用。这种差异可能很大,从 MTP 中仅有一个超参数 (这使得超参数优化既简单又快速),到 Allegro 中的许多超参数 (要优化到前沿水平的结果可能需要大量的经验和技巧)。在这方面,作者发现 MTP 是最容易拟合的 MLIP 之一,因为它只有一个超参数,称为 MTP 的"复杂度水平 (complexity level)"参数,用户可以从较低的水平开始,逐步提高复杂度水平以达到期望的精度。应当指出,截至撰写本文时 (2024 年初),MTP 不支持 GPU 训练,因此在训练集很大时需要大量 CPU 核心。不过,这一硬件限制可能随着 MTP 代码的更新而随时被移除。与 MTP 相比,ACE 势在物种之间的对、三元组等相互作用的拟合参数方面提供了大得多的灵活性。这种灵活性产生了大量超参数,它们对应于多体相互作用的键阶、径向基函数的数量以及描述的角向分辨率。然而,由于 ACE 的特征化能提供良好的物理直觉,在用不同超参数进行几次训练之后,用户就会理解如何平衡这些超参数,以在保持计算成本较低的同时达到期望的精度。虽然超参数优化带来的这种适度复杂性看似不重要,但它可以轻易使拟合一个势的总时间增加数倍。这是因为从头算模拟和拟合工作在很大程度上是自动化的,而超参数优化仍然常常是相当串行地、手工完成的。随着标准化的超参数选择出现或更多自动化优化方法变得可用,这一挑战可能会迅速减轻。
7.7. 选择势的考量总结
可供拟合的 MLIP 选项众多,包括本文已提及的那些以及许多其他的,并且如同这一新兴领域的许多方面一样,对于哪种 MLIP 最好并没有标准共识。不过,我们可以提供一些指引以帮助用户在各选项中导航。如果需要一个快速的势 (例如数十纳秒及更长的模拟) 且/或无法使用 GPU,那么显式 AEF 类 MLIP 很可能是一个好的起点,我们建议从 MTP 或 ACE 开始,分别因为它们易于拟合和精度高。反过来,如果不需要很高的速度 (例如探索几千个结构的能量) 且/或可以使用 GPU,那么深度学习势是一个可行的选项,尽管不一定是必需的甚至不一定是最佳选项。第 7.3 节所指出的精度要求表明,应使用更完备的势 (例如 MTP、ACE) 而非较老的形式 (例如 SNAP),因为前者精度更高且没有明显的缺点。特别地,Zuo 等人的工作在 2020 年对不同 MLIP 做了一次非常有用的比较,发现 MTP 既高度准确又执行得非常快,总体上表现比 GAP、SNAP 和 Behler-Parrinello NN 势稍好一些。[1] 这表明在缺乏更多信息的情况下,MTP 是一个不错的入门势。如第 4.3 节所讨论的,MLIP 形式体系的近期发展已经表明,构成不同显式 AEF 方法基础的基本上所有基函数 (例如 ACSF、SOAP、HBF、MTF) 都是 ACE 形式体系的特例。[14] 这表明 ACE 是一种优选方法,但其灵活性伴随着更多的超参数选择,这可能使用户在导航时更为复杂。
使用预训练的 MLIP 可以避免训练时间 (通常为数天到数月),因此值得追求 (第 7.4 节)。U-MLIP 可以是一个很好的起点,但需要仔细审查,并且在现阶段很可能最适合用于那些在项目工作流中内置了某种事后检查的场合。复用针对性 MLIP 可以是一个很好的解决方案,但建议至少验证 MLIP 的某些方面,因为它很可能正被以不同于原始研究和评估的某些方式使用。最后,如果你要拟合自己的 MLIP,那么对于超过约 5 种元素的情形通常需要深度学习势,尽管近期的方法学进展有可能正在消除这一约束 (第 7.6.1 节)。然而,深度学习 MLIP 可能需要更多数据、耗费更多训练时间 (第 7.6.2 节),并且可能需要更多人力时间用于超参数优化 (第 7.6.3 节)。
图 7. (a) 在构建可靠 MLIP 中使用主动学习的概览。(b) 学习曲线,展示在开发五组元高熵合金的 MLIP 时主动学习方法相对随机采样的效率提升。经许可改编自文献 [25]。
8. MLIP 基础设施
近年来,在 MLIP 这一充满活力的格局中涌现出大量软件包,既服务于标准规模的模拟,也服务于大规模模拟。这些软件包旨在简化训练、拟合和部署 MLIP 以运行 MD 的流程,用于化学和材料科学中的各类应用。对于标准规模的模拟,软件包理想的特性应包括易用性、适应性、直观的界面,以及处理各种数据类型和模型架构的灵活性。另一方面,大规模模拟则要求高效的并行化、可伸缩性、稳健性以及与高性能计算的集成。在下文中,我们探讨这两类中一些最突出且用户友好的软件包,详述它们的特性、优势和理想使用场景。
为促进 MLIP 的采用并提升其可及性,已经涌现出许多工具和平台。如第 7.4 节所述,一个值得注意的例子是 ColabFit Exchange,它是一个为先进材料和化学应用量身定制的信息学平台。[132] ColabFit Exchange 包含来自文献的、有助于拟合 MLIP 的经过整理的高质量数据。截至 2025 年 1 月,已有近 400 个数据集,包含超过 2.3 亿个独特的原子排布。Andolina 和 Saidi 最近的工作生成了 23 个单元素体系的整理训练数据集,并用 DeepMD 构建了 MLIP,其所有训练数据都托管在 ColabFit Exchange 上。[133,134] 此外,诸如基于原子间模型知识库的学习集成拟合框架 (Knowledgebase of Interatomic Models-based Learning-Integrated Fitting Framework, KLIFF) 之类的软件包已被开发出来用于 MLIP 的通用拟合,它提供了通过 OpenKIM 在 LAMMPS 等模拟软件中部署这些模型的多功能性,以及自动化的模型验证、测试 (即对所有已归档的势自动计算广泛的物理性质) 和在 https://openkim.org 上的归档。[91] KLIFF 还纳入了不确定性量化,这是一个用于评估 MLIP 预测可靠性和置信度的强大特性。这些工具体现了学界为克服采用障碍、推动 MLIP 领域前进所做的一些协同努力。该生态系统中另一个新兴平台是 Garden。[135,136] Garden 旨在使 ML 模型在不同计算环境中更易获取和部署。模型被汇集到领域特定的"花园 (gardens)"中,作为一组容器化的模型,通过材料数据设施 (Materials Data Facility)[137,138] 或 Foundry[139] 与结构化数据、基准、测试和计算资源相关联。Garden 通过将模型容器化以实现一致的执行、并通过与 Globus Compute 的集成促进模型发现和在本地机器、云资源与 HPC 集群上的简化部署,从而应对关键的基础设施挑战。最后,如第 7.4 节所讨论的,目前至少有两个值得注意的原子间势仓库实例,即 OpenKIM 和 NIST 原子间势仓库,它们包含许多 PBP,也包含数量不断增长的 MLIP。
下文我们讨论一套用于生成或获取训练数据、拟合、比较以及在 MD 模拟中部署 MLIP 的标准流程和软件。对于 MD 模拟,LAMMPS 在过去数十年中一直是材料科学领域的标准,具有全面的文档,并且大多数广泛使用的 MLIP 在 LAMMPS 中都有相应的库。较早的 MLIP 表述形式,例如 Behler-Parrinello NN、GAP、SNAP 和 ACE,都有经过充分测试的库 (ML-HDPNN、ML-QUIP、ML-SNAP 和 ML-PACE),它们已成为 LAMMPS 代码的一部分,便于用户安装和使用。MTP 也有一个 LAMMPS 库,但需要从其 Gitlab 仓库单独获取并添加到 LAMMPS 中。诸如 DeepMD、MACE 和 Allegro 之类的近期 MLIP 也有 LAMMPS 库,但目前它们的库需要从各自的 GitHub 仓库下载并添加到 LAMMPS 中。前沿 MLIP 与分子模拟代码更加流畅的集成工作正在进行中。例如,最新的 MLIP (如 NequIP、MACE) 现在提供了与 JAX-MD 的原生集成,后者是一个用于在 GPU 上运行端到端可微 MD 模拟的 Python 库。[140] 除了 LAMMPS 和 JAX-MD 之外,另一个常用于 MD 模拟的 Python 库是原子模拟环境 (Atomic Simulation Environment, ASE)。[141] ASE 提供了众多功能,例如 MD 模拟或对每个原子构型的静态能量/力计算,可用于测试和比较 MLIP。上述许多 MLIP 都有与 ASE 配合使用的特定库,称为计算器 (calculators)。诸如 M3GNet、[41] CHGNet、[20] MACE-MP0[32] 和 EquiformerV2-OMAT24[24] 之类的 U-MLIP 与 ASE 代码无缝集成,使新用户只需几行 python 代码即可载入一个预训练的 U-MLIP 并执行原子弛豫或 MD 运行。
如第 6 节和第 7.1 节所讨论的,许多 MLIP 需要 GPU 才能高效运行。在计算实验室中获取少量 GPU (例如 1–10 块) 正变得普遍,但在大规模研究需要许多 GPU 时仍可能难以获得。能源部 (例如 Summit) 和国家科学基金会 (例如 ACCESS、国家人工智能研究资源 (National Artificial Intelligence Research Resource, NAIRR)) 都拥有配备大量 GPU 的机器,研究人员可以申请这些资源。此外,云计算资源,例如来自 Google Cloud、Amazon Web Services (AWS) 和 Microsoft Azure 的资源,可以以适中的成本用于开展大规模模拟。这种"按需付费"的基础设施为用户提供了即时获取前沿 GPU 以用于大规模应用的途径。Garden 框架通过提供在不同平台上部署 MLIP 的标准化方法,进一步简化了对这些多样计算资源的获取。通过与 Globus Compute 的集成,Garden 使研究人员能够无缝利用从本地机器到 DOE 设施再到云服务商的各种计算资源。
9. 标准 MLIP 的局限以及克服这些局限的先进 MLIP
MLIP 显著增强了我们描述各类材料体系中势能面的能力。在处理诸如长程力、磁性和电子激发态之类的复杂性时,通常需要对标准 MLIP 做出修改。然而,增加更多的物理比单纯为训练 MLIP 提供更多数据要困难。在本节中,我们概述 MLIP 在复杂材料领域中应用的局限,以及为克服这些约束所取得的最新进展。
9.1. 长程相互作用
长程相互作用未被纳入标准 MLIP,因为它们通常聚焦于学习半径仅为 5–10 Å 范围内环境的局域原子描述符,对于更长的范围会变得慢得多。图 8 给出了研究人员希望在未来 MLIP 中集成的长程相互作用的图示。仅考虑短程相互作用贡献的 MLIP 在准确预测某些性质方面可能存在不足。[142] 在非局域物理和化学对解释性质具有根本重要性的情形下,就必须关注非局域的静电和色散相互作用,而这些通常不被局域描述符所表示。为克服这一挑战,人们采用了若干方法学和模型来提升 MLIP 处理长程相互作用的性能。
第一种策略是将长程相互作用隐式地并入短程相互作用中,这对具有强屏蔽效应的均匀凝聚相体系特别有用。这本质上归结为试图在训练数据中包含正确的物理,并寄望长程效应在很大程度上被屏蔽,或被合理地定量重整化到短程 MLIP 中。一种方法是增大标准 MLIP 中的截断半径以容纳长程相互作用。例如,AP-NET 使用 8 Å 截断的原子对对称函数来评估单体–单体相互作用能。[143] 将一种本质上长程的相互作用重整化的一个具体例子,是在为标准短程 MLIP 生成训练数据的 DFT 计算中纳入色散。有趣的是,对于熔盐这类具有大静电相互作用和显著色散贡献的离子体系,已有许多成功的 MLIP 模型,展示了这种简单方法可以何等有效。[126,144–146] 用短程相互作用表示长程静电的能力可以理解为屏蔽的结果,其中局域电中性使得更长程的相互作用平均为零。这种屏蔽的本质已由 Ceder 等人加以解释并定量研究。[147] 他们的工作指出,局域电中性与较低能量的状态强相关,而在局域电中性不那么稳固的较高能量状态下,静电相互作用无法用短程相互作用很好地表示。因此,短程势对离子体系的成功在很大程度上可能归因于训练数据和应用数据中所探索的典型状态,它们往往是与近平衡分子动力学模拟相关的较低能量状态。这些观察意味着,对于涉及较高能量状态的模拟,或更准确地说,涉及不具备强局域电中性的状态的模拟,研究人员应当对仅使用短程相互作用非常谨慎,可能有必要对长程静电作更完整的处理。
图 8. 构成体系总势能 ($U_{total}$) 的一般能量贡献汇总。$U_{local}$ 指短程体系能量,通常使用在局域特征上训练的机器学习模型推断得到。色散修正、静电和感应统称为长程相互作用能贡献。经许可改编自文献 [142]。
第二种策略是使用诸如库仑定律之类基于物理的函数形式,纳入显式的长程相互作用 (例如静电),其可以依赖也可以不依赖于局域原子环境。例如,称为 DeepPot 的深度神经网络势使用一个基于 (最大局域化 Wannier 中心位置的平均值的) 模型来准确计算静电。[148] DeepPot 的一个更精细版本是自洽场神经网络 (self-consistent field neural network, SCFNN),其中 SCFNN 将迭代精修方法与最大局域化 Wannier 中心相结合,以提升静电计算的精度,其准确预测水的高频介电常数的能力就是明证。[149] 最近更新的 AIMNet2 (第 5 节中也曾提及) 将长程相互作用直接纳入 MLIP 形式体系中,其中 DFT-D3 vdW 和静电修正被显式地作为能量项包含进来,从而将应用扩展到中性和带电状态,以及由许多不同化学元素组成的多样有机化合物。[18,142] 此外,如第 5 节所述,MACE-MP0 U-MLIP 仅在 PBE 层次的 DFT 计算 (仅包含短程相互作用) 上训练,但具有添加 DFT-D3 vdW 相互作用的能力,后者是在 PBE 层次模型之上的一种经验性修正。这一修正可以使用在 PyTorch 中实现的 torch-dftd 色散模型轻松完成。[79] 色散修正 MLIP 的另一个例子是 SO3LR。[150] 再举一例,在全局梯度域机器学习力场,即对称梯度域机器学习 (Symmetric Gradient Domain Machine Learning, sGDML) 方法中,分子体系的描述符被当作一个统一的整体来处理,从而绕开了将能量任意划分为原子贡献的需要。[151] 学习得到的模型本质上包含了所有的相互作用尺度,这一方法使 sGDML 框架能够有效地捕捉化学相互作用和长程力。然而,由于需要原子–原子相互作用的全部关联,这类全局 MLIP 是针对特定分子训练的,无法迁移到其他体系。
总之,长程相互作用的存在给 MLIP 带来了一些挑战,并且人们已为解决这一问题付出了大量努力。具体而言,第一种策略——将长程相互作用从训练数据重整化到 MLIP 中的短程相互作用——已在标准 MLIP 中被广泛采用,无需额外知识或额外投入。对于长程相互作用影响很小的应用,鼓励用户实施第一种策略这一直截了当的方法。第二种策略即显式长程相互作用,正日益成为前沿 MLIP 的常规做法。对于需要长程相互作用或对此类相互作用感兴趣的研究,尤其是静电 (例如离子、电解质),鼓励用户采用上文第二种策略中提到的 MLIP。此外,通常由 (至多) 数百个原子构成、且长程相互作用起显著作用的小分子体系,非常适合使用特征的全局表示。相较于以往的方法,采用对整个体系的全局表示通常会降低计算复杂度,从而同时提升训练过程和分子模拟的效率。
9.2. 建模偏离 Born-Oppenheimer 面的体系
MLIP 通常是从原子位置到能量和力的映射,因此假定这一映射是唯一的。天然唯一的势能面是每个原子排布下最低能量电子构型所对应的那个面,即 Born-Oppenheimer 面。然而,考虑某些形式的激发往往是有意义的。如果激发是固定的,例如我们将体系电离,那么这只不过是由某种约束所决定的另一个唯一定义的 Born-Oppenheimer 面,不构成根本性挑战。人们可以直接在受约束体系的 Born-Oppenheimer 面数据上训练一个标准 MLIP。然而,如果激发可以在不同的 Born-Oppenheimer 面之间移动,例如多个磁性状态或变化的电子激发,那么就需要对 MLIP 形式体系作出重大改变。在此,我们讨论两个被广泛研究的领域,即磁性和电子激发,尽管其他类型的激发可能也令人感兴趣。
9.2.1. 磁性
离子的不同磁性状态具有显著不同的性质,这种复杂性在磁性材料的语境下变得至关重要。如何区分具有不同自旋态的离子是困难的,并且在 MLIP 学界尚无唯一的解决方案。将自旋自由度纳入 MLIP——这对准确表示磁性材料中的有限温度现象至关重要——一直是一项具有挑战性的任务。在自旋密度泛函理论 (spin density functional theory, SDFT) 中,磁化来自磁交换与能带能量贡献之间的相互作用,[152,153] 其中在上自旋与下自旋通道之间重新分配电子所需的能量取决于局域态密度 (density of states, DOS)。例如,铁在其体心立方 (bcc) 结构中呈现双峰 DOS,从而相比具有更单峰 DOS 的面心立方 (fcc) 结构产生更大的磁矩。[154] 磁性结构与原子结构之间这种错综复杂的关系,要求考虑多原子、多自旋的相互作用,以便在单一模型中捕捉各种磁性排布和原子排布。与那些能无缝纳入磁性相互作用复杂度的、源自电子结构理论的方法不同,[154] 经典 PBP 需要额外的项来模拟量子交换相互作用。一种常见的做法是使用经典的 Heisenberg 哈密顿量,[155] 其中原子自旋算符被自旋矢量取代,交换相互作用则使用从头算计算进行参数化。[156] 许多针对磁性体系的 MLIP 方法采用了类似的策略。例如,Nikolov 等人[157] 用双自旋双线性 Heisenberg 模型扩展了 SNAP 框架。Yu 等人[158] 开发了一种基于神经网络的方法来描述基于局域磁性环境对 Heisenberg 哈密顿量的贡献,尽管该方法未考虑晶格信息,并将磁矩视为单位矢量。Eckhoff 和 Behler[159] 扩展了原始的 Behler-Parrinello[19] 对称函数框架,但其形式体系仅限于共线构型。Novikov 等人[160] 在 MTP 框架中将磁矩作为额外的自由度纳入,不过同样仅限于共线磁矩。Domina 等人[161] 扩展了 SNAP 框架以处理任意矢量场,并以非共线自旋构型演示了其功能。Chapman 和 Ma 引入了对一个嵌入原子方法势的神经网络修正,该势还辅以 Heisenberg-Landau 哈密顿量,用于大规模自旋–晶格动力学模拟。[162] 最后,如第 5 节所讨论的,Deng 等人开发的 CHGNet U-MLIP[20] 超越了仅报告能量和力,还预测体系中每个原子上的磁矩,从而能够区分不同的价态并分析其底层的磁性质。尽管有这些努力,现有的针对磁性体系的 ML 方法中,尚无一种在磁性相互作用的描述上达到了可迁移且定量准确、适合在不同晶体结构中建模磁性的水平。
ACE 方法已被扩展以容纳矢量或张量特性,并在原子位置之外纳入原子磁矩和电荷,如 Drautz 等人所详述。[163] 这一扩展的 ACE 框架为刻画局域原子环境提供了完备的基础。ACE 不再局限于仅将能量表示为原子位置和化学物种的函数,而是可以被改造以涵盖矢量或张量性质并纳入额外的自由度。这种适应性对磁性材料尤为重要,因为其势能面同时依赖于原子位置和原子磁矩。值得注意的是,Rinaldi 等人最近的工作引入了一种专门为典型磁性元素铁量身定制的非共线磁性 ACE 参数化。[164] 该模型使用一组多样的共线和非共线磁性结构训练,这些结构用 SDFT 计算得到。他们的发现表明,这种非共线磁性 ACE 方法不仅能准确重现铁各种磁性相的基态性质,还能捕捉对准确描述有限温度行为和晶体缺陷性质至关重要的磁性激发和晶格激发。[164]
最近,Yu 等人[165] 引入了时间反演等变神经网络 (Time-reversal Equivariant Neural Network, TENN) 框架,它将时间反演对称性纳入等变神经网络 (equivariant neural network, ENN) 中。这一扩展使 ENN 能够考虑与时间反演对称性相关的物理方面,例如原子的自旋和速度。具体而言,他们开发了 TENN-e3,这是 E(3) 等变神经网络的扩展,用以在考虑磁性材料中共线和非共线磁矩情形下自旋–轨道效应的同时,保持时间反演 E(3) 等变性。TENN-e3 可以基于从头算计算构建自旋神经网络势以及磁性材料的哈密顿量。TENN-e3 采用时间反演-E(3)-等变卷积来建模旋量与几何张量之间的相互作用。TENN-e3 擅长在保持时间反演对称性的同时准确描述复杂的自旋–晶格耦合,而这是现有 E(3) 等变模型所不具备的特性。此外,TENN-e3 便于构建具有时间反演对称性的磁性材料的哈密顿量。
总之,TENN 为在更长时间尺度上开展自旋–晶格动力学模拟以及对大规模磁性材料执行电子结构计算提供了一种新方法。作为 TENN-e3 的一个实例,Spin-Allegro 可以帮助生成自旋原子间势。[166] 另一方面,针对铁的 ACE 方法可以直接扩展到多组元体系,例如技术上重要的磁性合金和碳化物。虽然在概念上直截了当,但为磁性多组元材料生成精确而全面的 DFT 参考数据仍具挑战性。人们可以使用基于 D 最优性主动学习的高效采样技术来应对这一挑战 (见第 7.5.4 节),并将其扩展以纳入磁性自由度。这有助于减少所需 DFT 参考计算的数量。尽管已经提出了这些新颖的方法,但测试仅在少数体系上进行。因此,需要在更多磁性体系上进一步探索和测试此类 MLIP,以评估其总体效力。
9.2.2. 激发态
目前,尚不存在专门针对激发体系的成熟 MLIP。不过,必须强调的是,旨在开发和提升 MLIP 的持续研究工作正在快速推进,我们在此讨论近期的一些努力。
电子激发态在光化学和光物理等诸多领域中处于核心地位。与磁性类似,它们代表了必须添加到势中的一个额外自由度。大多数 MLIP 试图学习分子/凝聚相体系处于基态时的势能面。设计一个能够学习次级输出——即激发态势能面、相应的力,以及它们之间的非绝热耦合和自旋–轨道耦合——的 MLIP 需要审慎的考量。[167,168] 例如,在处理激发态时应当考虑多个势能面及其耦合。此外,生成底层训练数据计算的复杂性和高昂计算开销,以及相应 ML 模型的相关复杂性,使得为激发态训练 MLIP 比为基态更具挑战性。因此,将 ML 模型应用于激发态比应用于基态显著更具挑战性。
最近,Marquetand 及其同事开发了 SchNarc,一个用于激发态分子动力学模拟的框架。[169] SchNarc 将用于光动力学、能够处理不同多重度状态的包含任意耦合的面跃迁 (surface hopping including arbitrary couplings, SHARC) 方法,与能够高效准确地拟合势能和其他分子性质的 SchNet (一种消息传递深度神经网络) 相结合。该框架克服了现有基于 MLIP 的激发态 MD 模拟的当前局限,做法是允许 (i) 无相位 (phase-free) 训练,消除了对原始量子化学数据代价高昂的预处理;(ii) 处理旋转协变的非绝热耦合 (non-adiabatic couplings, NACs),这些耦合既可以被训练,(iii) 也可以仅从 ML 势、其梯度和 Hessian 矩阵近似得到;以及 (iv) 处理自旋–轨道耦合。他们使用一个具有多输出的 NN 扩展了该模型,以同时拟合相同自旋多重度的不同状态之间的所有非绝热矢量,[170] 这提高了激发态动力学模拟预测的精度。
更近期地,Zhang 及其同事应用了一种对称性适配的高维神经网络,将耦合处理为 NN 表示的导数。[171] 在这一方法中,电子摩擦使用机器学习建模,并应用于金属表面上分子的 MD 模拟,从而以旋转协变的方式处理电子–核耦合。对于非绝热耦合矢量,采用了一种类似于势的仅力训练的策略,即将它们实现为由深度 NN 构建的虚拟性质 (量子化学中未显式定义的性质) 的导数。他们通过引入相对于每个原子的、具有严格旋转等变性的赝原子场矢量,将其嵌入原子神经网络扩展为一个通用的场诱导递归嵌入原子神经网络 (field-induced recursively embedded atom neural network, FIREANN)。FIREANN 能够为各种响应性质预测多个极化值,从而使得在单一模型内准确捕捉激发态势能面成为可能。[172]
10. MLIP 的未来
鉴于 MLIP 领域的快速发展与演进,讨论 MLIP 的未来颇具推测性。特别是,ML 领域创新的非凡速度与颠覆性表明,所有与该领域相关的预测都高度不确定。带着这一前提,我们分享几点关于 MLIP 领域在不久的将来可能如何发展的想法。
在近期 (约 3–5 年),我们看到许多领域中已经确立的趋势很可能会延续。在采样方面,我们预期会继续看到新的主动学习方法以及确定最优训练结构的方式出现,例如 Fonseca 等人最近所做的工作,他们使用 ML 采样构型空间的新区域,以更优化地改进基于 GAP 的显式 AEF MLIP 和一个深度学习 MLIP。[173] 此外,在诸如断键/成键之类的复杂化学应用中,主动学习的进展可以指导相关训练数据的选择,正如 Kulichenko 等人所例证的。[122]
目前有许多不同的可用于拟合的数据库 (例如 Materials Project 以及通过 ColabFit 共享的数据[132,134]),通常由单个团队以许多不同的方式开发。然而,对于开发用于拟合的既有从头算计算数据库,似乎尚不存在一种领先的、成熟确立的方法。这个问题有诸多方面,因为它涉及与大型既有数据库交互、整合来自多个精度层次的数据,以及为从非常聚焦的势 (例如仅 C 或 Si) 到大型 U-MLIP (例如含 90 种以上元素) 的一切拟合提供指引。我们预期,少数几种底层方法和关键数据库最终将成为标准,并被大多数使用场景广泛采用。
我们还预期标准 MLIP 方法将得到进一步的完善。目前看来,相较过去 10–15 年间的情形,创新的步伐似乎有所放缓,并且看起来诸如 ACE 之类的方法所提供的显式 AEF 方法以及深度学习等变 GNN,在我们目前的理解范围内已接近最优。因此,在当前的显式 AEF 与深度学习 MLIP 框架内,努力方向将转向形式体系上的适度改变,重点在于让这些方法能够更快速、更"开箱即用"地拟合和求值,以及将拟合扩展到更大的数据集。显然需要针对当前标准 MLIP 的一些已知局限确立标准的方法学途径,这些局限包括纳入长程力和激发态 (包括磁性状态)。短程和长程力用针对性拟合和/或半经验修正来处理相对直截了当。近期的工作也为磁性状态指出了一条路径,它们可以用一些先进方法处理,例如非共线磁性 ACE 方法和 TENN 模型,并且预计在未来几年内它们将成为 MLIP 拟合软件包的标准组成部分。更一般的激发态方法正在开发中,很可能在未来 3–5 年内变得广泛可及。话虽如此,深度学习的工具在巨大的商业和国家优先级压力驱动下不断改进,这很可能推动深度学习在训练、执行、精度、可解释性和实现方面的快速进步。为帮助读者体会这一领域变化和改进的速度,我们指出,如此众多深度学习 MLIP 所基于的 MPGNN 的现代形式,一般被认为源自 2017 年才发表的工作。[174] 因此,似乎很可能在未来 3–5 年内的某个时候,ML 中会出现颠覆性的创新,带来全新的、可能强大得多的 MLIP 方法,这可能会显著改变该领域的关注焦点。
同样在未来 3–5 年内,我们预期 MLIP 相关基础设施将出现重大且至关重要的改进,以及化学、材料、物理和生物学界在分子建模中对 MLIP 采用的相应增长。许多使用 MLIP 的研究仍与基准评测或基本性质预测相关,而将 MLIP 复用于复杂性质建模以及材料发现与设计仍然有限。然而,随着其效用被更好地认识以及 MLIP 基础设施进一步发展,我们可以预期更为广泛的使用。在 MLIP 基础设施方面,用于拟合的代码包 (例如 MTP、ACE、Allegro 等) 以及与主要分子开发软件包 (例如 ASE、pymatgen) 和模拟工具 (例如 LAMMPS) 的集成已经广泛可用,但仍可以变得更全面、更易用。此外,MLIP 拟合代码之间更大程度的集成很可能带来诸多优势。例如,我们预期很快会出现能够拟合多种势并评估哪一种最适合你的体系和问题的代码包。类似地,此类代码和预拟合的 MLIP 将被存放在易于访问和检索的仓库中,并配有对 MLIP 质量的自动化评估,正如 OpenKIM 中正在开发的那样。[175] 拟合和评估都将从大量高质量的基准数据库中大大获益。许多基准已经存在,但往往并非以 MLIP 开发和基准评测为目的而开发 (例如 Materials Project)。将 FAIR 原则应用于 MLIP 将增强有用的基础设施并促进其采用。Garden 框架代表了这一趋势的早期范例,它提供了一个面向 FAIR 的平台,简化了模型在各种计算资源上的发布、发现和部署。此类框架将有助于使 MLIP 的获取民主化,并确保在不同计算环境中的可复现性。最后,我们注意到与 DFT 软件包的直接集成是可能的 (例如 VASP 代码[176] 和 Castep 代码[186] 中已经实现),但这似乎并非该领域正在前进的方向,很可能是由于将 DFT 与 MLIP 拟合相连接较为容易,以及在与 DFT 软件包集成时维持灵活且不断演进的 MLIP 生态系统全部优势所面临的挑战。总体而言,在 MLIP 众多可用选项中导航,至少在未来几年内很可能仍是一项令人生畏的任务。为便于就给定应用的 MLIP 选择作出决策,我们预期会出现基于用户预期应用和具体问题的推荐系统。在这方面,我们认为建立一个知情决策的基础是重要的,即建立有助于评估不同软件包适用性的比较。
作为影响 MLIP 的一个外部因素,不断演进的超级计算格局可以根据 MLIP 的适应能力改变它们的相对优势。目前,基于 GPU 的超级计算机的主导地位 (世界前 10 名中有 9 台) 已经使那些配备 GPU 加速的 MLIP 在需要大规模模拟的科学应用中占据有利地位,因为一个锁定于 CPU 的 MLIP 将需要数百个 CPU 核心才能匹敌哪怕单块 GPU 的性能。随着计算格局变得更加多样化,这种差异将进一步加剧。即便在今天,最快的四台超级计算机中,一台基于 CPU,而另外三台使用来自不同厂商的 GPU,其原生编程模型彼此不可互操作。对于只能使用一个或少数几个计算环境的典型用户而言,MLIP 的选择将强烈受到该 MLIP 在用户可用硬件上的性能、乃至能否运行的影响。这有利于那些构建在性能可移植层之上、从而在很大程度上与底层硬件无关的 MLIP,例如使用 Kokkos 的 SNAP 和 FLARE,以及许多使用 PyTorch 的基于深度学习的 MLIP,如 MACE 和 Allegro。在未来,我们可能会看到硬件方面更为激进的变化。就在最近,Cerebras 晶圆级 AI 芯片被用于运行 MD 模拟,比 CPU 和 GPU 快两个数量级以上。[177] 虽然基于 Cerebras 的模拟使用的是 EAM 势,但这些结果展示了新硬件大幅改变 MD 模拟能力的前景,而那些能最好地相应调整的 MLIP 及其实现将比竞争者拥有巨大优势。
在中短期 (5–10 年),一个特别有趣的领域将是 U-MLIP 的发展。U-MLIP 在某种程度上类似于在图像生成和自然语言处理 (natural language processing, NLP) 界产生巨大影响的基础模型。基础模型一般指能够在广泛的任务上取得良好表现的大型模型,这使它们可以被适配到许多特定应用中 (即它们是许多其他更具体的有用模型的基础)。例如,NLP 界的大语言模型 (Large Language Models, LLMs) 在过去几年中性能和效用出现了爆发式增长,并正被集成到数百种不同的工具和产品中。U-MLIP 在化学与结构上的通用性也将使它们能够影响远比以往典型 PBP 或针对性 MLIP 更多的问题,这就是为什么它们有时被称为材料与化学的基础模型。目前,U-MLIP 大多用于在众多体系上进行定性或半定量的筛选,但它们正迅速成为用于特定材料性质详细分子建模的定量工具 (例如电解质中的 Li 扩散)。未来的 U-MLIP 可能作为基础模型发挥作用,使得模拟更长的时间尺度 (例如 > 1 ms) 以及建模当今 MLIP 目前无法企及的全新材料现象成为可能。U-MLIP 很可能会继续快速改进,日益接管目前由针对性 MLIP 主导的应用。这一转变将需要一些改进,但看起来都已顺利推进。首先,需要更大、更多样、高保真度的训练数据。不过,改进的硬件 (包括 CPU 和 GPU) 将有助于提高用于拟合的从头算数据的产出。多个数据库的整合将支持非常大的训练集以及潜在的多保真度训练集[80,178,179] (例如包含 DFT 和耦合簇数据),以支撑那些接近化学精度 (1 kcal/mol) 并克服较低保真度 DFT 数据 (例如 DFT-PBE 计算) 局限的 MLIP。我们还预期基础设施和方法学创新将允许更广泛学界中海量数据作出更多贡献,例如通过在线微调或联邦学习方法。有理由预期,在未来几年内,接近或超过十亿个训练数据点的训练数据集将触手可及 (我们已经看到在约 1.1×108 个 DFT 构型上的训练)。伴随这些数据,更好的算法和更快的 GPU 将支撑更快速的训练和求值。最后一个需要开发的环节很可能是某种形式的蒸馏 (将知识从较大模型迁移到较小模型),以便能够从较慢的 U-MLIP 轻松开发出用于特定应用的快速模型。这种蒸馏可能简单到只是将一个更简单更快的 MLIP 拟合到 U-MLIP 数据上,但也可能会开发出更精巧的直接方法。所有这些创新都需要改进的基础设施才能充分发挥其影响。特别是,U-MLIP 的数据规模乃至模型规模,将要求它们由少数几个拥有大量资源的领先机构来训练并很可能托管,这些机构或许包括政府 (例如 NIST)、公司 (例如 Google、Matlantis)、主要研究团队以及相关学会 (例如美国化学会 (American Chemical Society, ACS))。此类托管应当使模型的使用、微调和用于高性能应用的蒸馏变得容易。这些资源可以提供完整的计算环境、仅提供代码,或二者的某种组合。类似的基础设施通过 OpenAI 和 HuggingFace API 等工具已可用于 LLM,而这些工具在支撑 LLM 的采用方面发挥着巨大作用。诸如 Garden[135,136] 之类的框架正开始为这一未来奠定基础,它提供将模型与分布式计算资源相连接、并简化跨不同环境部署的基础设施——弥合模型开发者与用户之间的鸿沟,正如 OpenAI 和 HuggingFace 的 API 为 LLM 所做的那样。
如第 5 节所讨论的,从针对性 MLIP (≤ 5 种元素) 到 U-MLIP (40–90 种以上元素) 的变化是一个连续谱。有可能会为关键材料类别建立起半通用 MLIP (SU-MLIPs) (见第 5 节),它们具有中等数量的元素 (例如约 20 种) 且/或有限的相或结构,例如针对有机分子、聚合物、钢合金、Al 合金、卤化物钙钛矿、电子材料、熔盐等。此类方法将模仿相图计算 (calculation of phase diagrams, CALPHAD) 学界非常成功的方法,后者通常以这种方式开发数据库。这种方法显然通过处理更少的物种限制了组分复杂度,并通过处理更少的相和结构限制了结构复杂度,但也可能通过处理相对一致的物理 (例如主要是离子键或共价键) 而使拟合更容易。因此,对许多材料设计问题而言,SU-MLIP 可能提供比完整 U-MLIP 更实用的解决方案,或至少能架起从包含少数几种物种、条件有限的模型到试图在所有条件下表示整个元素周期表的模型之间的过渡桥梁。
总体而言,上述趋势很可能带来从头算分子动力学模拟时间的显著减少,尽管这只会发生在该方法已被用于帮助训练许多势之后。这种减少可能降低分子建模研究的总体计算和能耗需求,但我们预期 MLIP 建模会大幅增加,这可能抵消任何收益,并很可能导致模拟总体利用率的上升。
从更长期看 (>10 年),传统的势 (例如 Lennard-Jones、EAM、AMBER 等) 有可能几乎完全被 MLIP 取代,但这尚不明朗。例如,针对许多有机体系的 AMBER 势已接近化学精度且非常快速,因此尚不清楚更复杂的 MLIP 会带来何种优势。然而,MLIP 方法有可能会被整合进哪怕是最快最简单的势方法中。例如,Yu 等人[180] 最近描述了一种用 ML 拟合对势、然后将其转换为简单 Buckingham 形式的方法,从 ML 得到了几乎最优的对势且没有速度损失。也有可能 MLIP 会发展得更像完整的从头算模拟,不仅提供从位置到能量和力的映射,还提供到能带结构、磁矩、电荷密度乃至波函数的映射,取代目前用量子模拟所完成的大部分工作。[181] 另一方面,一种互补的愿景是 ML 在更根本的层面上与从头算相结合,例如推进交换–关联泛函且/或大规模加速薛定谔方程 (及相对论扩展) 的求解。这条路径可能会将从头算方法加速到 MLIP 的水平,实际上是从一个非常不同的起点实现了 MLIP。最后,当下或许没有哪个科学或工程领域的变化速度能与 AI 和 ML 相比,因此所有研究人员都需要对可能为分子建模界带来全新框架和能力的新思想保持警觉。
竞争性利益声明
作者声明,他们没有已知的可能显得影响本文所报告工作的竞争性经济利益或个人关系。
致谢
"机器学习势 —— 现状与未来 (MLIP-SAFE)"研讨会以及本文撰写工作的经费由美国国家科学基金会通过一项 AI Institute Planning Grant 提供,项目编号 2020243。
KC 感谢美国国家标准与技术研究院提供的经费、计算和数据管理资源。本工作的经费来自 CHIPS Metrology Program,它是 CHIPS for America 的一部分,隶属于美国商务部国家标准与技术研究院。本文中标明了某些商业设备、仪器、软件或材料,目的是充分说明实验流程。此类标明并不意在暗示 NIST 的推荐或认可,也不意在暗示所标明的材料或设备一定是为该目的可获得的最佳选择。
SM 感谢 NSF Grant OAC-2311632 以及 Simons 计算物理化学中心 (Simons Foundation grant 839534, MT) 的支持。
数据可用性
本文所述研究未使用数据。
参考文献
[1] Y. Zuo, C. Chen, X. Li, Z. Deng, Y. Chen, J. Behler, G. Csányi, A.V. Shapeev, A. P. Thompson, M.A. Wood, S.P. Ong, Performance and cost assessment of machine learning interatomic potentials, Chem. A Eur. J. 124 (2020) 731–745, link.
[2] J. Behler, Four generations of high-dimensional neural network potentials, Chem. Rev. 121 (2021) 10037–10072, link.
[3] V.L. Deringer, A.P. Bartók, N. Bernstein, D.M. Wilkins, M. Ceriotti, G. Csányi, Gaussian process regression for materials and molecules, Chem. Rev. 121 (2021) 10073–10141, link.
[4] Y. Mishin, Machine-learning interatomic potentials for materials science, Acta Mater. 214 (2021) 116980, link.
[5] O.T. Unke, S. Chmiela, H.E. Sauceda, M. Gastegger, I. Poltavsky, K.T. Schütt, A. Tkatchenko, K.-R. Müller, Machine learning force fields, Chem. Rev. 121 (2021) 10142–10186, link.
[6] K. Wan, J. He, X. Shi, Construction of high accuracy machine learning interatomic potential for surface/interface of nanomaterials—a review, Adv. Mater. 36 (2024), link.
[7] F. Noé, A. Tkatchenko, K.-R. Müller, C. Clementi, Machine learning for molecular simulation, Annu. Rev. Phys. Chem. 71 (2020) 361–390, link.
[8] V.L. Deringer, M.A. Caro, G. Csányi, Machine learning interatomic potentials as emerging tools for materials science, Adv. Mater. 31 (2019), link.
[9] D. Tang, R. Ketkaew, S. Luber, Machine learning interatomic potentials for catalysis, Chem. – A Eur. J. (2024), link.
[10] T.W. Ko, S.P. Ong, Recent advances and outstanding challenges for machine learning interatomic potentials, Nat. Comput. Sci. 3 (2023) 998–1000, link.
[11] T.T. Duignan, The potential of neural network potentials, ACS Phys. Chem. Au 4 (2024) 232–241, link.
[12] J.S. Smith, O. Isayev, A.E. Roitberg, ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost, Chem. Sci. 8 (2017) 3192–3203, link.
[13] A. Musaelian, S. Batzner, A. Johansson, L. Sun, C.J. Owen, M. Kornbluth, B. Kozinsky, Learning local equivariant representations for large-scale atomistic dynamics, Nat. Commun. 14 (2023) 579, link.
[14] R. Drautz, Atomic cluster expansion for accurate and transferable interatomic potentials, PhysRevB 99 (2019), link.
[15] N. Artrith, A. Urban, An implementation of artificial neural-network potentials for atomistic materials simulations: performance for TiO2, Comput. Mater. Sci 114 (2016) 135–150, link.
[16] N. Artrith, A. Urban, G. Ceder, Efficient and accurate machine-learning interpolation of atomic energies in compositions with many species, PhysRevB 96 (2017) 014112, link.
[17] K. Choudhary, B. DeCost, L. Major, K. Butler, J. Thiyagalingam, F. Tavazza, Unified graph neural network force-field for the periodic table: solid state applications, Digital Discovery 2 (2023) 346–355, link.
[18] D.M. Anstine, R. Zubatyuk, O. Isayev, AIMNet2: A Neural Network Potential to Meet your Neutral, Charged, Organic, and Elemental-Organic Needs, ChemRxiv (2023). link.
[19] J. Behler, M. Parrinello, Generalized neural-network representation of highdimensional potential-energy surfaces, PhysRevLett 98 (2007) 1–4, link.
[20] B. Deng, P. Zhong, K. Jun, J. Riebesell, K. Han, C.J. Bartel, G. Ceder, CHGNet: Pretrained universal neural network potential for charge-informed atomistic modeling, Nat. Mach. Intell. (2023), link.
[21] J. Zeng, D. Zhang, D. Lu, P. Mo, Z. Li, Y. Chen, M. Rynik, L. Huang, Z. Li, S. Shi, Y. Wang, H. Ye, P. Tuo, J. Yang, Y. Ding, Y. Li, D. Tisi, Q. Zeng, H. Bao, Y. Xia, J. Huang, K. Muraoka, Y. Wang, J. Chang, F. Yuan, S.L. Bore, C. Cai, Y. Lin, B. Wang, J. Xu, J.X. Zhu, C. Luo, Y. Zhang, R.E.A. Goodall, W. Liang, A.K. Singh, S. Yao, J. Zhang, R. Wentzcovitch, J. Han, J. Liu, W. Jia, D.M. York, E. Weinan, R. Car, L. Zhang, H. Wang, DeePMD-kit v2: A software package for deep potential models, J. Chem. Phys. 159 (2023), link.
[22] H. Wang, L. Zhang, J. Han, W.E. DeePMD-kit, A deep learning package for manybody potential energy representation and molecular dynamics, Comput Phys Commun 228 (2018) 178–184, link.
[23] A. Rodriguez, C. Lin, H. Yang, M. Al-Fahdi, C. Shen, K. Choudhary, Y. Zhao, J. Hu, B. Cao, H. Zhang, M. Hu, Million-scale data integrated deep neural network for phonon properties of heuslers spanning the periodic table, NPJ Comput. Mater. 9 (2023) 20, link.
[24] L. Barroso-Luque, M. Shuaibi, X. Fu, B. Wood, M. Dzamba, M. Gao, A. Rizvi, Open Materials 2024 (OMat24) Inorganic Materials Dataset and Models, (n.d.).
[25] J. Vandermause, S.B. Torrisi, S. Batzner, Y. Xie, L. Sun, A.M. Kolpak, B. Kozinsky, On-the-fly active learning of interpretable Bayesian force fields for atomistic rare events, NPJ Comput. Mater. 6 (2020) 20, link.
[26] A.P. Bartók, M.C. Payne, R. Kondor, G. Csányi, Gaussian approximation potentials: the accuracy of quantum mechanics, without the electrons, PhysRevLett 104 (2010), link.
[27] F. Xie, T. Lu, S. Meng, M. Liu, GPTFF: a high-accuracy out-of-the-box universal AI force field for arbitrary inorganic materials, Sci Bull (Beijing) (2024), link.
[28] A. Merchant, S. Batzner, S.S. Schoenholz, M. Aykol, G. Cheon, E.D. Cubuk, Scaling deep learning for materials discovery, Nature 624 (2023) 80–85, link.
[29] A. Bochkarev, Y. Lysogorskiy, R. Drautz, Graph atomic cluster expansion for semilocal interactions beyond equivariant message passing, PhysRevX 14 (2024) 021036, link.
[30] H. Yang, C. Hu, Y. Zhou, X. Liu, Y. Shi, J. Li, G. Li, C. Zeni, M. Horton, R. Pinsler, MatterSim: A Deep Learning Atomistic Model Across Elements, Temperatures and Pressures, (n.d.).
[31] I. Batatia, D. Kovacs, G. Simm, C. Ortner, G. Csanyi, MACE: Higher Order Equivariant Message Passing Neural Networks for Fast and Accurate Force Fields, in: 36th Conference on Neural Information Processing Systems (NeurIPS 2022), 2022.
[32] I. Batatia, P. Benner, Y. Chiang, A.M. Elena, D.P. Kovács, J. Riebesell, X.R. Advincula, M. Asta, M. Avaylon, W.J. Baldwin, F. Berger, N. Bernstein, A. Bhowmik, S.M. Blau, V. Cărare, J.P. Darby, S. De, F. Della Pia, V.L. Deringer, R. Elijošius, Z. El-Machachi, F. Falcioni, E. Fako, A.C. Ferrari, A. Genreith-Schriever, J. George, R.E.A. Goodall, C.P. Grey, P. Grigorev, S. Han, W. Handley, H.H. Heenen, K. Hermansson, C. Holm, J. Jaafar, S. Hofmann, K.S. Jakob, H. Jung, V. Kapil, A.D. Kaplan, N. Karimitari, J.R. Kermode, N. Kroupa, J. Kullgren, M.C. Kuner, D. Kuryla, G. Liepuoniute, J.T. Margraf, I.-B. Magdău, A. Michaelides, J.H. Moore, A.A. Naik, S.P. Niblett, S.W. Norwood, N. O’Neill, C. Ortner, K.A. Persson, K. Reuter, A.S. Rosen, L.L. Schaaf, C. Schran, B.X. Shi, E. Sivonxay, T.K. Stenczel, V. Svahn, C. Sutton, T.D. Swinburne, J. Tilly, C. van der Oord, E. Varga-Umbrich, T. Vegge, M. Vondrák, Y. Wang, W.C. Witt, F. Zills, G. Csányi, A foundation model for atomistic materials chemistry, ArXiv (2023). link.
[33] D.P. Kovács, J.H. Moore, N.J. Browning, I. Batatia, J.T. Horton, V. Kapil, W.C. Witt, I.-B. Magdău, D.J. Cole, G. Csányi, MACE-OFF23: Transferable Machine Learning Force Fields for Organic Molecules, (2023). link.
[34] A.V. Shapeev, Moment tensor potentials: A class of systematically improvable interatomic potentials, Multiscale Model. Simul. 14 (2016), link.
[35] S. Batzner, A. Musaelian, L. Sun, M. Geiger, J.P. Mailoa, M. Kornbluth, N. Molinari, T.E. Smidt, B. Kozinsky, E(3)-equivariant graph neural networks for data-efficient and accurate interatomic potentials, Nat. Commun. 13 (2022), link.
[36] M. Neumann, J. Gin, B. Rhodes, S. Bennett, Z. Li, H. Choubisa, A. Hussey, Orb: A Fast, Scalable Neural Network Potential, (n.d.).
[37] S. Takamoto, D. Okanohara, Q.-J. Li, J. Li, Towards universal neural network interatomic potential, J. Materiomics 9 (2023) 447–454, link.
[38] Y. Park, J. Kim, S. Hwang, S. Han, Scalable parallel algorithm for graph neural network interatomic potentials in molecular dynamics simulations, J. Chem. Theory Comput. 20 (2024) 4857–4868, link.
[39] K.T. Schütt, F. Arbabzadah, S. Chmiela, K.R. Müller, A. Tkatchenko, Quantumchemical insights from deep tensor neural networks, Nat. Commun. 8 (2017) 13890, link.
[40] A.P. Thompson, L.P. Swiler, C.R. Trott, S.M. Foiles, G.J. Tucker, Spectral neighbor analysis method for automated generation of quantum-accurate interatomic potentials, J. Comput. Phys. 285 (2015), link.
[41] C. Chen, S.P. Ong, A universal graph deep learning interatomic potential for the periodic table, Nat. Comput. Sci. 2 (2022) 718–728, link.
[42] S.R. Xie, M. Rupp, R.G. Hennig, Ultra-fast interpretable machine-learning potentials, npj Comput. Mater. 9 (2023) 162, link.
[43] A.P. Thompson, H.M. Aktulga, R. Berger, D.S. Bolintineanu, W.M. Brown, P.S. Crozier, P.J. in ’t Veld, A. Kohlmeyer, S.G. Moore, T.D. Nguyen, R. Shan, M.J. Stevens, J. Tranchida, C. Trott, S.J. Plimpton, LAMMPS - a flexible simulation tool for particle-based materials modeling at the atomic, meso, and continuum scales, Comput Phys Commun 271 (2022) 108171. link.
[44] M.S. Daw, M.I. Baskes, Embedded-atom method: Derivation and application to impurities, surfaces, and other defects in metals, PhysRevB 29 (1984) 6443–6453, link.
[45] M.S. Daw, S.M. Foiles, M.I. Baskes, The embedded-atom method: a review of theory and applications, Mater. Sci. Rep. 9 (1993) 251–310, link(93)90001-U.
[46] A. Rohskopf, C. Sievers, N. Lubbers, M.A. Cusentino, J. Goff, J. Janssen, M. McCarthy, D.M. de Oca Zapiain, S. Nikolov, K. Sargsyan, D. Sema, E. Sikorski, L. Williams, A.P. Thompson, M.A. Wood, FitSNAP: Atomistic machine learning with LAMMPS, J Open Source Softw 8 (2023) 5118. link.
[47] Y. Mishin, Machine-learning interatomic potentials for materials science, Acta Mater 214 (2021) 116980. link.
[48] M.S. Daw, S.M. Foiles, M.I. Baskes, The embedded-atom method: a review of theory and applications, Mater. Sci. Rep. 9 (1993), link(93)90001-U.
[49] I.-B. Magdău, D.J. Arismendi-Arrieta, H.E. Smith, C.P. Grey, K. Hermansson, G. Csányi, Machine learning force fields for molecular liquids: ethylene carbonate/ethyl methyl carbonate binary solvent, NPJ Comput. Mater. 9 (2023) 146, link.
[50] J.D. Morrow, J.L.A. Gardner, V.L. Deringer, How to validate machine-learned interatomic potentials, J. Chem. Phys. 158 (2023), link.
[51] N. Artrith, J. Behler, High-dimensional neural network potentials for metal surfaces: A prototype study for copper, PhysRevB 85 (2012) 045439, link.
[52] A.M. Cooper, J. Kästner, A. Urban, N. Artrith, Efficient training of ANN potentials by including atomic forces via Taylor expansion and application to water and a transition-metal oxide, NPJ Comput. Mater. 6 (2020) 54, link.
[53] A. Rohskopf, J. Goff, D. Sema, K. Gordiz, N.C. Nguyen, A. Henry, A.P. Thompson, M.A. Wood, Exploring model complexity in machine learned potentials for simulated properties, J. Mater. Res. 38 (2023) 5136–5150, link.
[54] J.P. Darby, J.R. Kermode, G. Csányi, Compressing local atomic neighbourhood descriptors, NPJ Comput. Mater. 8 (2022), link.
[55] N. Lopanitsyna, G. Fraux, M.A. Springer, S. De, M. Ceriotti, Modeling highentropy transition metal alloys with alchemical compression, PhysRevMater 7 (2023) 45802, link.
[56] J.P. Darby, D.P. Kovács, I. Batatia, M.A. Caro, G.L.W. Hart, C. Ortner, G. Csányi, Tensor-reduced atomic density representations, PhysRevLett 131 (2023) 028001, link.
[57] M. Gastegger, L. Schwiedrzik, M. Bittermann, F. Berzsenyi, P. Marquetand, wACSF—Weighted atom-centered symmetry functions as descriptors in machine learning potentials, J. Chem. Phys. 148 (2018), link.
[58] S. Takamoto, S. Izumi, J. Li, TeaNet: universal neural network interatomic potential inspired by iterative electronic relaxations, Comput. Mater. Sci 207 (2022), link.
[59] I. Batatia, S. Batzner, D.P. Kovács, A. Musaelian, G.N.C. Simm, R. Drautz, C. Ortner, B. Kozinsky, G. Csányi, The design space of E(3)-equivariant atomcentred interatomic potentials, Nat Mach Intell 7 (2025) 56–67, link.
[60] Y. Lysogorskiy, C. van der Oord, A. Bochkarev, S. Menon, M. Rinaldi, T. Hammerschmidt, M. Mrovec, A. Thompson, G. Csányi, C. Ortner, R. Drautz, Performant implementation of the atomic cluster expansion (PACE) and application to copper and silicon, NPJ Comput. Mater. 7 (2021) 1–12, link.
[61] P. Weiner, P. Kollman, AMBER: Assisted model building with energy refinement. A general program for modeling molecules and their interactions, J Comput Chem 2 (1981).
[62] A.K. Rappe, C.J. Casewit, K.S. Colwell, W.A. Goddard III, W.M. Skiff, UFF, a Full Periodic Table Force Field for Molecular Mechanics and Molecular Dynamics Simulations, 1992. link.
[63] D.A. Case, T.E. Cheatham, T. Darden, H. Gohlke, R. Luo, K.M. Merz, A. Onufriev, C. Simmerling, B. Wang, R.J. Woods, The Amber biomolecular simulation programs, J. Comput. Chem. 26 (2005) 1668–1688, link.
[64] J.S. Smith, O. Isayev, A.E. Roitberg, ANI-1, A data set of 20 million calculated offequilibrium conformations for organic molecules, Sci. Data 4 (2017) 170193, link.
[65] C. Devereux, J.S. Smith, K.K. Huddleston, K. Barros, R. Zubatyuk, O. Isayev, A. E. Roitberg, Extending the applicability of the ANI deep learning molecular potential to sulfur and halogens, J. Chem. Theory Comput. 16 (2020) 4192–4202, link.
[66] S. Zhang, M.Z. Makoś, R.B. Jadrich, E. Kraka, K. Barros, B.T. Nebgen, S. Tretiak, O. Isayev, N. Lubbers, R.A. Messerly, J.S. Smith, Exploring the frontiers of condensed-phase chemistry with a general reactive machine learning potential, Nat. Chem. (2024), link.
[67] link, (2023).
[68] Y.-L. Liao, B. Wood, A. Das, T. Smidt, EquiformerV2: improved equivariant transformer for scaling to higher-degree representations, ArXiv (2023).
[69] C. Chen, W. Ye, Y. Zuo, C. Zheng, S.P. Ong, Graph networks as a universal machine learning framework for molecules and crystals, Chem. Mater. 31 (2019) 3564–3572, link.
[70] K. Choudhary, B. DeCost, Atomistic line graph neural network for improved materials property predictions, npj Comput. Mater. 7 (2021) 185, link.
[71] Y. Zhou, S. Hu, C. Wang, L.-W. Wang, G. Tan, W. Jia, FastCHGNet: Training one Universal Interatomic Potential to 1.5 Hours with 32 GPUs, ArXiv (2024). link.
[72] H. Yu, M. Giantomassi, G. Materzanini, J. Wang, G.-M. Rignanese, Systematic assessment of various universal machine-learning interatomic potentials, ArXiv (2024). link.
[73] B. Focassio, L.P.M. Freitas, G.R. Schleder, Performance Assessment of Universal Machine Learning Interatomic Potentials: Challenges and Directions for Materials’ Surfaces, ArXiv (2024). link.
[74] B. Deng, Y. Choi, P. Zhong, J. Riebesell, S. Anand, Z. Li, K. Jun, K. Persson, G. Ceder, Overcoming systematic softening in universal machine learning interatomic potentials by fine-tuning, ArXiv (2024).
[75] J. Riebesell, R.E.A. Goodall, P. Benner, Y. Chiang, B. Deng, A.A. Lee, A. Jain, K.A. Persson, Matbench Discovery – A framework to evaluate machine learning crystal stability predictions, (2023). link.
[76] H.-C. Wang, S. Botti, M.A.L. Marques, Predicting stable crystalline compounds using chemical similarity, NPJ Comput. Mater. 7 (2021) 12, link.
[77] L. Casillas-Trujillo, A.S. Parackal, R. Armiento, B. Alling, Evaluating and improving the predictive accuracy of mixing enthalpies and volumes in disordered alloys from universal pretrained machine learning potentials, PhysRevMater 8 (2024) 113803, link PhysRevMaterials.8.113803.
[78] D. Wines, K. Choudhary, CHIPS-FF: Evaluating Universal Machine Learning Force Fields for Material Properties, ArXiv (2024). link.
[79] S. Takamoto, C. Shinagawa, D. Motoki, K. Nakago, W. Li, I. Kurata, T. Watanabe, Y. Yayama, H. Iriguchi, Y. Asano, T. Onodera, T. Ishii, T. Kudo, H. Ono, R. Sawada, R. Ishitani, M. Ong, T. Yamaguchi, T. Kataoka, A. Hayashi, N. Charoenphakdee, T. Ibuka, Towards universal neural network potential for material discovery applicable to arbitrary combination of 45 elements, Nat. Commun. 13 (2022), link.
[80] N. Shoghi, A. Kolluru, J. Kitchin, Z. Ulissi, L.C. Zitnick, B.M. Wood, From Molecules to Materials: Pre-training Large Generalizable Models for Atomic Property Prediction, ArXiv (2024). link.
[81] T. Xie, X. Fu, O.-E. Ganea, R. Barzilay, T. Jaakkola, Crystal Diffusion Variational Autoencoder for Periodic Material Generation, ArXiv:2110.06197 (2021). link.
[82] D. Wines, T. Xie, K. Choudhary, Inverse Design of Next-generation Superconductors Using Data-driven Deep Generative Models, ArXiv:2304.08446 (2023). link.
[83] C. Zeni, R. Pinsler, D. Zugner, A. Fowler, M. Horton, X. Fu, S. Shysheya, J. Crabbe, L. Sun, J. Smith, B. Nguyen, H. Schulz, S. Lewis, C.-W. Huang, Z. Lu, Y. Zhou, H. Yang, H. Hao, J. Li, R. Tomioka, T. Xie, MatterGen: a generative model for inorganic materials design, ArXiv:2312.03687v2 (2023).
[84] T.M. Nguyen, S.A. Tawfik, T. Tran, S. Gupta, S. Rana, S. Venkatesh, Efficient Symmetry-Aware Materials Generation via Hierarchical Generative Flow Networks, ArXiv (2024). link.
[85] S. Yang, K. Cho, A. Merchant, P. Abbeel, D. Schuurmans, I. Mordatch, E.D. Cubuk, Scalable Diffusion for Materials Generation, ArXiv (2024). link arXiv.2311.09235.
[86] N. Gruver, A. Sriram, A. Madotto, A.G. Wilson, C.L. Zitnick, Z. Ulissi, Fine-Tuned Language Models Generate Stable Inorganic Materials as Text, (2024). link.
[87] K. Choudhary, AtomGPT: atomistic generative pretrained transformer for forward and inverse materials design, J. Phys. Chem. Lett. 15 (2024) 6909–6917, link.
[88] N. Bernstein, From GAP to ACE to MACE, ArXiv (2024).
[89] LAMMPS Benchmarks, (n.d.). link (accessed October 30, 2023).
[90] D. Lu, H. Wang, M. Chen, L. Lin, R. Car, W. E, W. Jia, L. Zhang, 86 PFLOPS Deep Potential Molecular Dynamics simulation of 100 million atoms with ab initio accuracy, Comput Phys Commun 259 (2021). link.
[91] M. Wen, Y. Afshar, R.S. Elliott, E.B. Tadmor, KLIFF: A framework to develop physics-based and machine learning interatomic potentials, Comput. Phys. Commun. 272 (2022) 108218, link.
[92] K. Nguyen-Cong, J.T. Willman, S.G. Moore, A.B. Belonoshko, R. Gayatri, E. Weinberg, M.A. Wood, A.P. Thompson, I.I. Oleynik, Billion atom molecular dynamics simulations of carbon at extreme conditions and experimental time and length scales, in: International Conference for High Performance Computing, Networking, Storage and Analysis, SC, 2021. link.
[93] A. Musaelian, A. Johansson, S. Batzner, B. Kozinsky, Scaling the leading accuracy of deep equivariant models to biomolecular simulations of realistic size, ArXiv (2023).
[94] A. Johannson, Y. Xie, C. Owen, J. Lim, L. Sun, J. Vandermause, B. Kozinsky, Micron-scale heterogeneous catalysis with Bayesian force fields from first principles and active learning, ArXiv (2022).
[95] X. Zhang, S. Sundram, T. Oppelstrup, S.I.L. Kokkila-Schumacher, T.S. Carpenter, H.I. Ingólfsson, F.H. Streitz, F.C. Lightstone, J.N. Glosli, DdcMD: A fully GPUaccelerated molecular dynamics program for the Martini force field, J. Chem. Phys. 153 (2020), link.
[96] MN-Core, (n.d.).
[97] J.T. Frank, O.T. Unke, K.-R. Müller, S. Chmiela, A Euclidean transformer for fast and stable machine learned force fields, Nat. Commun. 15 (2024) 6539, link.
[98] The ColabFit Exchange: Data for Advanced Materials Science, (2024). link (accessed July 4, 2024).
[99] NIST Interatomic Potentials Respository, (2024). link (accessed July 4, 2024).
[100] Open Knowledgebase of Interatomic Models (OpenKIM), (2009). link (accessed May 7, 2024).
[101] M3Gnet Github repository, (2023). link (accessed May 6, 2024).
[102] CHGNet Github repository, (2024). link (accessed May 6, 2024).
[103] MACE Github repository, (2024). link (accessed May 6, 2024).
[104] J.D. Morrow, J.L.A. Gardner, V.L. Deringer, How to validate machine-learned interatomic potentials, J Chem Phys 158 (2023). link.
[105] R.S.J.-N.W.C.L.C.W.R.V.A.C.Y.X.Y.M.Y.M.J.P.Y.S. Xiaoliang Pan, The Training of Machine Learning Potentials for Reactive Systems: A Colab Tutorial on Basic Models, ChemRxiv (2023).
[106] A.M. Tokita, J. Behler, How to train a neural network potential, J. Chem. Phys. 159 (2023), link.
[107] S. Attarian, C. Shen, D. Morgan, I. Szlufarska, Best practices for fitting machine learning interatomic potentials for molten salts: A case study using NaCl-MgCl2, Comput. Mater. Sci 246 (2025) 113409, link.
[108] M. Geiger, T.E. Smidt, e3nn: Euclidean Neural Networks, ArXiv abs/2207.09453 (2022). link.
[109] C. Owen, S. Torrisi, Y. Xie, S. Batzner, K. Bystrom, J. Coulter, A. Musaelian, L. Sun, B. Kozinsky, Complexity of many-body interactions in transition metals via machine-learned force fields from the TM23 Data Set, ArXiv (2023).
[110] R. Jinnouchi, K. Miwa, F. Karsai, G. Kresse, R. Asahi, On-the-fly active learning of interatomic potentials for large-scale atomistic simulations, J. Phys. Chem. Lett. 11 (2020), link.
[111] Xiang Fu, Zhanghao Wu, Wujie Wang, Tian Xie, Sinan Keten, Rafael GomezBombarelli, Tommi Jaakkola, Forces are not Enough: Benchmark and Critical Evaluation for Machine Learning Force Fields with Molecular Simulations, ArXiv (2022). link.
[112] Y. Zhai, A. Caruso, S.L. Bore, Z. Luo, F. Paesani, A “short blanket” dilemma for a state-of-the-art neural network potential for water: Reproducing experimental properties or the physics of the underlying many-body interactions?, J Chem Phys 158 (2023). link.
[113] Y. Liu, X. He, Y. Mo, Discrepancies and error evaluation metrics for machine learning interatomic potentials, NPJ Comput. Mater. 9 (2023) 1–13. link.
[114] I.B. Magdău, D.J. Arismendi-Arrieta, H.E. Smith, C.P. Grey, K. Hermansson, G. Csányi, Machine learning force fields for molecular liquids: ethylene carbonate/ethyl methyl carbonate binary solvent, npj Comput. Mater. 9 (2023), link.
[115] Y. Lysogorskiy, A. Bochkarev, M. Mrovec, R. Drautz, Active learning strategies for atomic cluster expansion models, PhysRevMater 7 (2022) 43801, link.
[116] E.V. Podryabinkin, A.V. Shapeev, Active learning of linearly parametrized interatomic potentials, Comput. Mater. Sci 140 (2017) 171–180, link.
[117] N. Artrith, J. Behler, High-dimensional neural network potentials for metal surfaces: a prototype study for copper, Phys. Rev. B: Condens. Matter Mater. Phys. 85 (2012), link.
[118] J.S. Smith, B. Nebgen, N. Lubbers, O. Isayev, A.E. Roitberg, Less is more: sampling chemical space with active learning, J. Chem. Phys. 148 (2018), link.
[119] R. Jinnouchi, F. Karsai, G. Kresse, On-the-fly machine learning force field generation: application to melting points, PhysRevB 100 (2019), link.
[120] R. Jinnouchi, J. Lahnsteiner, F. Karsai, G. Kresse, M. Bokdam, Phase transitions of hybrid perovskites simulated by machine-learning force fields trained on the fly with bayesian inference, PhysRevLett 122 (2019), link PhysRevLett.122.225701.
[121] J. Vandermause, Y. Xie, J.S. Lim, C.J. Owen, B. Kozinsky, Active learning of reactive Bayesian force fields applied to heterogeneous catalysis dynamics of H/ Pt, Nat. Commun. 13 (2022), link.
[122] M. Kulichenko, K. Barros, N. Lubbers, Y.W. Li, R. Messerly, S. Tretiak, J.S. Smith, B. Nebgen, Uncertainty-driven dynamics for active learning of interatomic potentials, Nat. Comput. Sci. 3 (2023) 230–239, link.
[123] C. van der Oord, M. Sachs, D.P. Kovács, C. Ortner, G. Csányi, Hyperactive learning for data-driven interatomic potentials, NPJ Comput. Mater. 9 (2023) 168, link.
[124] L. Himanen, M.O.J. Jäger, E.V. Morooka, F. Federici Canova, Y.S. Ranawat, D. Z. Gao, P. Rinke, A.S. Foster, DScribe: library of descriptors for machine learning in materials science, Comput Phys Commun 247 (2020) 106949, link.
[125] L. Ward, A. Dunn, A. Faghaninia, N.E.R. Zimmermann, S. Bajaj, Q. Wang, J. Montoya, J. Chen, K. Bystrom, M. Dylla, K. Chard, M. Asta, K.A. Persson, G. Je, I. Foster, A. Jain, Matminer : an open source toolkit for materials data mining, Comput. Mater. Sci 152 (2018) 60–69, link.
[126] S. Attarian, D. Morgan, I. Szlufarska, Thermophysical properties of FLiBe using moment tensor potentials, J. Mol. Liq. 368 (2022) 120803, link.
[127] C. Chen, Z. Deng, R. Tran, H. Tang, I.H. Chu, S.P. Ong, Accurate force field for molybdenum by machine learning large materials data, PhysRevMater 1 (2017), link.
[128] M. Yang, L. Bonati, D. Polino, M. Parrinello, Using metadynamics to build neural network potentials for reactive events: the case of urea decomposition in water, Catal. Today 387 (2022) 143–149, link.
[129] A. Rodriguez, S. Lam, M. Hu, Thermodynamic and transport properties of LiF and FLiBe molten salts with deep learning potentials, ACS Appl. Mater. Interfaces 13 (2021) 55367–55379, link.
[130] J. Zeng, L. Cao, M. Xu, T. Zhu, J.Z.H. Zhang, Complex reaction processes in combustion unraveled by neural network-based molecular dynamics simulation, Nat. Commun. 11 (2020) 1–9, link.
[131] T. Loose, P. Sahrmann, T. Qu, G. Voth, Coarse-graining with equivariant neural networks: a path towards accurate and data-efficient models, ArXiv (2023).
[132] J. Vita, E. Fuemmeler, A. Gupta, G. Wolfe, A. Tao, R. Elliott, S. Martiniani, E. Tadmor, ColabFit Exchange: open-access datasets for data-driven interatomic potentials, ArXiv (2023).
[133] C.M. Andolina, W.A. Saidi, Highly transferable atomistic machine-learning potentials from curated and compact datasets across the periodic table, Digital, Discovery 2 (2023) 1070–1077, link.
[134] E. Fuemmeler, G. Wolfe, A. Gupta, J.A. Vita, E.B. Tadmor, S. Martiniani, Advancing the ColabFit Exchange towards a Web-scale Data Source for Machine Learning Interatomic Potentials, in: AI for Accelerated Materials Design - NeurIPS 2024, 2024.
[135] B. Blaiszik, W. Engler, K. Schmidt, Garden: A FAIR Framework for Publishing and Applying AI Models for Translational Research in Science, Engineering, Education, and Industry, (2024). link (accessed February 20, 2024).
[136] R. Jacobs, L. Schultz, A. Scourtas, K.J. Schmidt, O. Price-Skelly, W. Engler, I. Foster, B. Blaiszik, P. Voyles, D. Morgan, Machine Learning Materials Properties with Accurate Predictions, Uncertainty Estimates, Domain Guidance, and Persistent Online Accessibility, Machine Learning Science and Technology 5 (2024) 4, link.
[137] B. Blaiszik, K. Chard, J. Pruyne, R. Ananthakrishnan, S. Tuecke, I. Foster, The materials data facility: data services to advance materials science research, JOM 68 (2016) 2045–2052, link.
[138] B. Blaiszik, L. Ward, M. Schwarting, J. Gaff, R. Chard, D. Pike, K. Chard, I. Foster, A data ecosystem to support machine learning in materials science, MRS Commun. 9 (2019) 1125–1133, link.
[139] K. Schmidt, A. Scourtas, L. Ward, S. Wangen, M. Schwarting, I. Darling, E. Truelove, A. Ambadkar, R. Bose, Z. Katok, J. Wei, X. Li, R. Jacobs, L. Schultz, D. Kim, M. Ferris, P.M. Voyles, D. Morgan, I. Foster, B. Blaiszik, Foundry-ML software and services to simplify access to machine learning datasets in materials science, J Open Source Softw 9 5467 (2024) link.
[140] S.S. Schoenholz, E.D. Cubuk, JAX, M.D. A framework for differentiable physics, Adv Neural Inf Process Syst 2020-Decem (2020). link.
[141] A. Hjorth Larsen, J. JØrgen Mortensen, J. Blomqvist, I.E. Castelli, R. Christensen, M. Dułak, J. Friis, M.N. Groves, B. Hammer, C. Hargus, E.D. Hermes, P.C. Jennings, P. Bjerre Jensen, J. Kermode, J.R. Kitchin, E. Leonhard Kolsbjerg, J. Kubal, K. Kaasbjerg, S. Lysgaard, J. Bergmann Maronsson, T. Maxson, T. Olsen, L. Pastewka, A. Peterson, C. Rostgaard, J. SchiØtz, O. Schütt, M. Strange, K.S. Thygesen, T. Vegge, L. Vilhelmsen, M. Walter, Z. Zeng, K.W. Jacobsen, The atomic simulation environment - A Python library for working with atoms, Journal of Physics Condensed Matter 29 (2017). link.
[142] D.M. Anstine, O. Isayev, Machine learning interatomic potentials and long-range physics, Chem. A Eur. J. 127 (2023) 2417–2431, link.
[143] Z.L. Glick, D.P. Metcalf, A. Koutsoukas, S.A. Spronk, D.L. Cheney, C.D. Sherrill, AP-Net: An atomic-pairwise neural network for smooth and transferable interaction potentials, J. Chem. Phys. 153 (2020), link.
[144] G. Pan, J. Ding, Y. Du, D.-J. Lee, Y. Lu, A DFT accurate machine learning description of molten ZnCl2 and its mixtures: 2. Potential development and properties prediction of ZnCl2-NaCl-KCl ternary salt for CSP, Comput Mater Sci 187 (2021) 110055, link.
[145] M. Bu, W. Liang, G. Lu, Molecular dynamics simulations on AlCl3-LiCl molten salt with deep learning potential, Comput. Mater. Sci 210 (2022) 111494, link.
[146] R. Chahal, S. Roy, M. Brehm, S. Banerjee, V. Bryantsev, S.T. Lam, Transferable deep learning potential reveals intermediate-range ordering effects in LiF–NaF–ZrF 4 Molten Salt, JACS Au 2 (2022) 2693–2702, link.
[147] G. Ceder, G.D. Garbulsky, P.D. Tepesch, Convergent real-space cluster expansion for configurational disorder in ionic systems, PhysRevB 51 (1995) 11257–11261, link.
[148] L. Zhang, H. Wang, M.C. Muniz, A.Z. Panagiotopoulos, R. Car, E. Weinan, A deep potential model with long-range electrostatic interactions, J. Chem. Phys. 156 (2022), link.
[149] A. Gao, R.C. Remsing, Self-consistent determination of long-range electrostatics in neural network potentials, Nat. Commun. 13 (2022) 1572, link.
[150] A. Kabylda, J.T. Frank, S.S. Dou, A. Khabibrakhmanov, L.M. Sandonas, O.T. Unke, S. Chmiela, K.-R. Muller, A. Tkatchenko, Molecular Simulations with a Pretrained Neural Network and Universal Pairwise Force Fields, (2024). link chemrxiv-2024-bdfr0.
[151] S. Chmiela, A. Tkatchenko, H.E. Sauceda, I. Poltavsky, K.T. Schütt, K.-R. Müller, Machine learning of accurate energy-conserving molecular force fields, Sci. Adv. (2017), link.
[152] U. von Barth, L. Hedin, A local exchange-correlation potential for the spin polarized case. i, Journal of Physics c: Solid State Physics 5 (1972) 1629–1642, link.
[153] E. Stoner, Collective electron ferronmagnetism, Proc. R. Soc. Lond. A 165 (1938) 372–414, link.
[154] R. Drautz, D.G. Pettifor, Valence-dependent analytic bond-order potential for transition metals, PhysRevB 74 (2006) 174117, link PhysRevB.74.174117.
[155] W. Heisenberg, Zur Theorie des Ferromagnetismus, Z. Angew. Phys. (1928).
[156] J. Tranchida, S.J. Plimpton, P. Thibaudeau, A.P. Thompson, Massively parallel symplectic algorithm for coupled magnetic spin dynamics and molecular dynamics, J. Comput. Phys. 372 (2018) 406–425, link.
[157] S. Nikolov, M.A. Wood, A. Cangi, J.-B. Maillet, M.-C. Marinica, A.P. Thompson, M.P. Desjarlais, J. Tranchida, Data-driven magneto-elastic predictions with scalable classical spin-lattice dynamics, npj Comput. Mater. 7 (2021) 153, link.
[158] H. Yu, C. Xu, X. Li, F. Lou, L. Bellaiche, Z. Hu, X. Gong, H. Xiang, Complex spin Hamiltonian represented by an artificial neural network, PhysRevB 105 (2022) 174422, link.
[159] M. Eckhoff, J. Behler, High-dimensional neural network potentials for magnetic systems using spin-dependent atom-centered symmetry functions, npj Comput. Mater. 7 (2021) 170, link.
[160] I. Novikov, B. Grabowski, F. Körmann, A. Shapeev, Magnetic Moment Tensor Potentials for collinear spin-polarized materials reproduce different magnetic states of bcc Fe, npj Comput. Mater. 8 (2022) 13, link.
[161] M. Domina, M. Cobelli, S. Sanvito, Spectral neighbor representation for vector fields: Machine learning potentials including spin, PhysRevB 105 (2022) 214439, link.
[162] J.B.J. Chapman, P.-W. Ma, A machine-learned spin-lattice potential for dynamic simulations of defective magnetic iron, Sci. Rep. 12 (2022) 22451, link.
[163] R. Drautz, Atomic cluster expansion of scalar, vectorial, and tensorial properties including magnetism and charge transfer, PhysRevB 102 (2020), link.
[164] M. Rinaldi, M. Mrovec, A. Bochkarev, Y. Lysogorskiy, R. Drautz, Non-collinear Magnetic Atomic Cluster Expansion for Iron, (2023). link.
[165] H. Yu, Y. Zhong, J. Ji, X. Gong, H. Xiang, Time-reversal equivariant neural network potential and Hamiltonian for magnetic materials, ArXiv (2022).
[166] H. Yu, Y. Zhong, L. Hong, C. Xu, W. Ren, X. Gong, H. Xiang, Spin-dependent graph neural network potential for magnetic materials, ArXiv (2023).
[167] J. Westermayr, P. Marquetand, Machine learning and excited-state molecular dynamics, Mach. Learn.: Sci. Technol. 1 (2020) 043001, link.
[168] J. Westermayr, P. Marquetand, Machine learning for electronically excited states of molecules, Chem. Rev. 121 (2021) 9873–9926, link.
[169] J. Westermayr, M. Gastegger, P. Marquetand, Combining SchNet and SHARC: the SchNarc machine learning approach for excited-state dynamics, J. Phys. Chem. Lett. 11 (2020) 3828–3834, link.
[170] J. Westermayr, M. Gastegger, M.F.S.J. Menger, S. Mai, L. González, P. Marquetand, Machine learning enables long time scale molecular photodynamics simulations, Chem. Sci. 10 (2019) 8100–8107, link.
[171] Y. Zhang, R.J. Maurer, B. Jiang, Symmetry-adapted high dimensional neural network representation of electronic friction tensor of adsorbates on metals, J. Phys. Chem. C 124 (2020) 186–195, link.
[172] Y. Zhang, B. Jiang, Universal machine learning for the response of atomistic systems to external fields, Nat. Commun. 14 (2023) 6424, link.
[173] G. Fonseca, I. Poltavsky, V. Vassilev-Galindo, A. Tkatchenko, Improving molecular force fields across configurational space by combining supervised and unsupervised machine learning, J. Chem. Phys. 154 (2021), link.
[174] T. Kipf, M. Welling, Semi-Supervised Classification with Graph Convolutional Networks, ArXiv, 2017.
[175] OpenKIM: Interatomic Potentials and Analytics for Molecular Simulation, (2023). link (accessed October 30, 2023).
[176] R. Jinnouchi, F. Karsai, G. Kresse, On-the-fly machine learning force field generation: application to melting points, PhysRevB 100 (2019) 014105, link.
[177] K. Santos, S. Moore, T. Oppelstrup, A. Sharifian, I. Sharapov, A. Thompson, D. Kalchev, D. Perez, R. Schreiber, Breaking the molecular dynamics timescale barrier using a wafer-scale system, ArXiv (2024).
[178] A. Allen, N. Lubbers, S. Matin, J. Smith, R. Messerly, S. Tretiak, K. Barros, Learning Together: towards foundational models for machine learning interatomic potentials with meta-learning, ArXiv (2023).
[179] T. Shiota, K. Ishihara, T.M. Do, T. Mori, W. Mizukamai, Taming multi-domain, -fidelity data: towards foundation models for atomistic scale simulations, ArXiv link (2024) 2412.13088.
[180] Z. Yu, A. Annamareddy, D. Morgan, B. Wang, How close are the classical twobody potentials to ab initio calculations? Insights from linear machine learning based force matching, J. Chem. Phys. 160 (2024), link.
[181] J.A. Ellis, L. Fiedler, G.A. Popoola, N.A. Modine, J.A. Stephens, A.P. Thompson, A. Cangi, S. Rajamanickam, Accelerating finite-temperature Kohn-Sham density functional theory with deep neural networks, PhysRevB 104 (2021) 035120, link.
[182] J. Hermann, Z. Schätzle, F. Noé, Deep-neural-network solution of the electronic Schrödinger equation, Nat. Chem. 12 (2020) 891–897, link.
[183] C. Shen, S. Attarian, Y. Zhang, H. Zhang, M. Asta, I. Szlufarska, D. Morgan, SuperSalt: Equivariant Neural Network Force Fields for Multicomponent Molten Salts System, ArXiv (2024), link.
[184] A. Bochkarev, Y. Lysogorskiy, C. Ortner, G. Csanyi, R. Drautz, Multilayer atomic cluster expansion for semilocal interactions, Phys. Rev. Research 4 (2022) L042019, link.
[185] S.N. Pozdnyakov, M.J. Willatt, A.B. Bartok, C. Ortner, G. Csanyi, M. Ceriotti, Incompleteness of Atomic Structure Representations, Phys. Rev. Lett. 125 (2020), link.
[186] T.K. Stenczel, Z. El-Machachi, G. Liepuoniute, J.D. Morrow, A.P. Bartok, M.I. J. Probert, G. Csanyi, V.L. Deringer, Machine-learned acceleration for molecular dynamics in CASTEP, J. Chem. Phys. 159 (2023), link.