PhononBench

PhononBench是一个基于声子的大规模动态稳定性评估基准测试，用于评估AI生成的晶体，包含10万+结构，DFT级别的MatterSim声子计算，以及开源的高通量工作流程。

PhononBench is a large-scale phonon-based dynamic stability evaluation benchmark for assessing AI-generated crystals, which encompasses over 100,000 structures, DFT-level MatterSim phonon calculations, and open-source high-throughput workflows.

原始信息汇总

PhononBench 数据集概述

数据集简介

PhononBench 是一个基于声子计算的大规模基准测试集，用于评估人工智能生成晶体的动力学稳定性。该数据集包含超过10万个结构，并提供了基于密度泛函理论（DFT）级别的 MatterSim 声子计算数据及开源的高通量工作流程。

核心特性

• 数据规模：包含超过10万个晶体结构。
• 计算级别：提供 DFT 级别的 MatterSim 声子计算数据。
• 工作流程：提供开源的高通量评估工作流程。

数据内容与统计

数据集包含多个晶体生成模型产出的结构及其动力学稳定性评估结果。具体统计如下表所示：

模型	弛豫结构数	动力学稳定结构数	输入脚本成功数	唯一 CIF 文件数	总生成结构数
CrystalFlow-MP20	8,533	1,428	8,852	9,952	16,000
CrystalFormer-Alex20	8,642	2,969	8,807	8,986	40,000
CrystalFormer-MP20	4,408	510	4,990	5,143	20,000
CrystaLLM-MP20	1,951	58	2,074	2,074	16,000
DiffCSP-MP20	9,163	2,488	9,959	10,000	16,000
InvDesFlow-AL-MP20	8,000	2,176	–	–	–
InvDesFlow-AL-Alex20	22,755	8,743	24,997	25,000	30,000
MatterGen-Alex20	10,902	4,469	11,829	11,829	16,000
MatterGen-MP20	9,279	2,278	10,000	10,000	16,000

数据获取与状态

• 相应的基准测试数据正在上传中，完成后将公开提供下载链接。
• 在晶体生成模型的评估中，当对约4000种材料进行声子计算后，动力学稳定率通常会收敛。本研究中，除大语言模型 CrystaLLM 外，所有测试模型均超过了此样本量。

评估工作流程

PhononBench 提供了评估自定义晶体生成模型动力学稳定性的标准化工作流程。

步骤概述

1. 生成晶体结构：使用目标模型生成大量晶体结构，并以 CIF 格式保存。建议至少生成10,000个结构，以确保在去除重复和结构弛豫后，仍有超过4,000个有效结构可用于可靠的动力学稳定性评估。
2. 准备 Phonopy 输入文件：使用提供的脚本 batch_prepare_phonopy_input.py，自动生成声子计算所需的 Phonopy 输入文件。需指定输入 CIF 文件目录和输出目录。
3. 运行声子计算：
   • 首先克隆所需的工具仓库：https://github.com/hyllios/utils.git。
   • 将 PhononBench 提供的 phonon_multi_gpu_run.py 和 submit_jobs.sh 脚本复制到 utils/benchmark_ph/ 目录下。
   • 使用多 GPU 并行执行脚本 (submit_jobs.sh) 进行大规模声子计算。用户需根据本地 GPU 配置和目录结构修改脚本中的关键路径参数（如输入文件目录、结果输出目录、弛豫结构保存目录）。

依赖环境

• 核心依赖：强烈建议首先按照官方指南安装 MatterSim，以进行 DFT 级别的声子计算。
• Python：版本 ≥ 3.10。
• 包管理器：推荐使用 mamba 或 micromamba。
• 操作系统：推荐 Linux 环境以进行大规模声子计算。

引用

如果研究中使用 PhononBench，请引用以下论文： bibtex @misc{han2025phononbenchalargescalephononbasedbenchmark, title = {PhononBench: A Large-Scale Phonon-Based Benchmark for Dynamical Stability in Crystal Generation}, author = {Xiao-Qi Han and Ze-Feng Gao and Peng-Jie Guo and Zhong-Yi Lu}, year = {2025}, eprint = {2512.21227}, archivePrefix= {arXiv}, primaryClass = {cond-mat.mtrl-sci}, url = {https://arxiv.org/abs/2512.21227} }

搜集汇总

数据集介绍

构建方式

在晶体材料科学领域，PhononBench数据集的构建体现了对大规模结构稳定性的系统性评估。该数据集通过整合多个前沿晶体生成模型，如CrystalFlow-MP20、CrystalFormer-Alex20、DiffCSP-MP20等，生成了超过十万个晶体结构。每个结构均经过密度泛函理论级别的MatterSim声子计算，确保了物理精度的可靠性。构建过程中，首先由各模型生成原始晶体文件，随后进行结构松弛与重复项去除，最终通过高通量工作流执行声子分析，以量化其动态稳定性，从而形成一个全面且标准化的基准资源。

特点

PhononBench的显著特点在于其规模与深度。数据集囊括了十余万晶体结构，覆盖了多种生成模型的输出，提供了丰富的比较基础。每个结构均附有DFT级声子计算结果，能够准确反映材料的动态稳定性，为评估生成模型的物理合理性提供了关键指标。数据集设计注重开放性与可复现性，所有计算工作流均开源，支持用户基于自身硬件环境进行扩展与验证。这种大规模、高精度的特性使其成为晶体生成领域的重要参考标准。

使用方法

使用PhononBench进行评估时，用户需遵循一套标准化流程。首先，利用自有晶体生成模型产生至少一万个CIF格式结构，确保经过去重和松弛后保留超过四千个有效样本。接着，通过提供的脚本批量准备Phonopy输入文件，指定超胞尺寸以适配计算需求。最后，借助多GPU并行脚本运行MatterSim声子计算，用户可根据本地GPU配置调整参数，实现高效的大规模处理。整个过程强调自动化与可扩展性，使得动态稳定性评估变得系统且可靠。

背景与挑战

背景概述

在材料科学与计算物理学领域，晶体结构的动态稳定性评估是预测新材料功能与可行性的关键环节。PhononBench数据集由研究人员Xiao-Qi Han、Ze-Feng Gao、Peng-Jie Guo及Zhong-Yi Lu于2025年创建，旨在为人工智能生成的晶体提供大规模、基于声子计算的基准测试。该数据集整合了超过十万个结构，并采用密度泛函理论级别的MatterSim声子计算，核心研究问题聚焦于量化不同生成模型输出晶体的动态稳定性比率，从而推动可靠晶体生成算法的发展。其开源高通量工作流程显著提升了评估效率，对加速新材料发现与生成模型的优化具有重要影响力。

当前挑战

PhononBench致力于解决晶体生成领域动态稳定性评估的标准化挑战，传统方法常受限于计算资源与评估规模，难以系统比较不同模型的可靠性。构建过程中，数据集面临多重技术难题：需处理超十万个晶体结构的声子计算，涉及庞大的计算负载与并行化调度；确保不同生成模型输出格式的统一转换与预处理；以及维持密度泛函理论计算的高精度与可重复性，这些挑战共同凸显了大规模材料基准测试的复杂性。

常用场景

经典使用场景

在材料科学领域，晶体结构的动态稳定性是评估新材料可行性的核心指标之一。PhononBench数据集通过整合超过十万个AI生成的晶体结构及其基于密度泛函理论（DFT）级别的声子计算数据，为大规模动态稳定性评估提供了标准化基准。该数据集最经典的使用场景在于系统性地评测各类晶体生成模型，如CrystalFlow、DiffCSP和MatterGen等，通过统一的声子计算流程，量化比较不同模型在生成热力学稳定晶体结构方面的性能差异，从而推动生成式人工智能在材料设计中的可靠应用。

衍生相关工作

围绕PhononBench数据集，已衍生出一系列重要的相关研究工作。例如，基于其评估框架，多项研究深入探讨了不同生成架构（如扩散模型、流模型与Transformer）在晶体设计中的稳定性表现，并提出了改进策略。同时，该数据集也促进了如MatterSim计算引擎的优化与扩展，推动了高通量声子计算方法的标准化发展。此外，一些工作进一步结合能带结构、弹性常数等性质，构建了多指标材料性能评估体系，为全面理解AI生成材料的结构-性质关系提供了丰富的数据基础与理论支撑。

数据集最近研究

最新研究方向

在材料科学领域，晶体结构的高通量生成与稳定性评估正成为人工智能驱动新材料发现的核心挑战。PhononBench数据集通过集成超过十万个结构及其密度泛函理论级别的声子计算数据，为大规模评估AI生成晶体的动力学稳定性提供了标准化基准。该数据集聚焦于前沿研究方向，旨在系统比较不同生成模型如CrystalFlow、DiffCSP及MatterGen等在晶体结构预测中的性能差异，揭示模型在保证结构热力学稳定性方面的内在机制。其开源工作流设计不仅促进了计算方法的可重复性，更推动了生成式AI在功能材料设计中的实际应用，为加速稳定候选材料的筛选与实验验证奠定了关键基础。