MLIP Arena
收藏资源简介：
MLIP Arena是一个公开的、可访问的基准平台，用于评估机器学习原子间势（MLIP）的性能。该数据集包含了1000种不同的晶体结构，用于评估MLIP在非平衡条件下的渐近行为、极端条件下的稳定性和反应性、分布偏移下的鲁棒性以及预测热力学性质和物理现象的能力。该数据集旨在解决现有基准数据集存在的问题，例如数据泄露、可迁移性有限以及过度依赖与特定密度泛函理论（DFT）参考相关的基于误差的指标。MLIP Arena通过超越静态DFT参考并提供一个可重复的框架，以指导下一代MLIP开发朝着提高预测精度和运行时效率的方向发展，同时保持物理一致性。
MLIP Arena is an open and accessible benchmark platform for evaluating the performance of machine learning interatomic potentials (MLIPs). This dataset includes 1,000 distinct crystal structures, designed to assess MLIPs' capabilities across multiple dimensions: asymptotic behavior under non-equilibrium conditions, stability and reactivity under extreme conditions, robustness against distribution shifts, as well as the capacity to predict thermodynamic properties and physical phenomena. This dataset aims to address the limitations of existing benchmark datasets, such as data leakage, limited transferability, and over-reliance on error-based metrics tied to specific density functional theory (DFT) references. MLIP Arena goes beyond static DFT references and provides a reproducible framework to guide the development of next-generation MLIPs toward improved prediction accuracy and runtime efficiency while maintaining physical consistency.
MLIP Arena 数据集概述
数据集简介
MLIP Arena是一个统一的基准测试平台，用于评估基础机器学习原子间势（MLIP）的性能，超越传统的误差指标。该平台专注于揭示MLIP学习的物理合理性，并评估其效用性能，与底层模型架构和训练数据集无关。
核心目标
- 超越静态密度泛函理论（DFT）参考
- 揭示当前基础MLIP在真实场景中的重要故障模式
- 提供可复现的框架，指导下一代MLIP开发，提高预测准确性和运行时效率，同时保持物理一致性
技术特点
- 利用现代Python工作流编排器Prefect实现高级任务/流程链和缓存
- 提供模块化任务接口，包括结构优化、状态方程、分子动力学、声子计算等
- 支持并行化基准测试扩展
安装方式
- PyPI安装：
pip install mlip-arena（仅包含Prefect工作流，无预训练模型） - 源码安装：支持集成预训练模型，提供Linux和Mac安装脚本
主要功能模块
- OPT：结构优化
- EOS：状态方程（能量-体积扫描）
- MD：分子动力学（支持NVE、NVT、NPT等系综）
- PHONON：声子计算
- NEB：推弹性能带
- ELASTICITY：弹性张量计算
开发贡献
- 支持通过PR贡献新任务
- 支持添加新的MLIP模型（支持外部ASE Calculator和Hugging Face Model两种方式）
- 提供详细的开发指南和贡献模板
引用信息
bibtex @inproceedings{ chiang2025mlip, title={{MLIP} Arena: Advancing Fairness and Transparency in Machine Learning Interatomic Potentials through an Open and Accessible Benchmark Platform}, author={Yuan Chiang and Tobias Kreiman and Elizabeth Weaver and Ishan Amin and Matthew Kuner and Christine Zhang and Aaron Kaplan and Daryl Chrzan and Samuel M Blau and Aditi S. Krishnapriyan and Mark Asta}, booktitle={AI for Accelerated Materials Design - ICLR 2025}, year={2025}, url={https://openreview.net/forum?id=ysKfIavYQE} }
- 1MLIP Arena: Advancing Fairness and Transparency in Machine Learning Interatomic Potentials via an Open, Accessible Benchmark Platform加州大学伯克利分校（UC Berkeley） · 2025年
