gwmock-benchmark dataset

该数据集是用于gwmock包的共享基准测试结果，包含一个测试框架、提交的结果和渲染的报告站点。数据以JSON记录形式存储，每个记录约1-2 KB，包含完整的可追溯性信息（如CPU/GPU型号、库版本），并通过静态JSON URL提供程序化访问。数据集旨在确保所有gwmock包以相同方式进行基准测试，允许贡献者通过拉取请求添加结果，并保持包仓库无基准测试工具、数据和图表。This dataset contains shared benchmark results for the gwmock package, including a dedicated test framework, submitted benchmark outcomes, and a rendered report website. All data is stored as JSON records, each roughly 1–2 KB in size, with comprehensive traceability information such as CPU/GPU models and library versions, and offers programmatic access via static JSON URLs. The dataset is designed to ensure consistent benchmarking across all gwmock package releases, allowing contributors to add results via pull requests while keeping the package repository free of benchmarking tools, datasets, and charts.

原始信息汇总

数据集名称

gwmock-benchmark — 用于 gwmock 系列包（如 gwmock-signal）的共享基准测试框架。

数据集目的

• 确保每个 gwmock 包以统一的方式进行基准测试。
• 允许任何人在自己的硬件上运行基准测试并通过一个 Pull Request 贡献结果。
• 保持各包仓库中不包含基准测试工具、数据和图表。

工作流程

1. 使用 CLI 运行基准测试，生成一个仅包含指标的 JSON 记录文件。
2. 通过 Pull Request 将该文件添加到 data/<package>/<suite>/ 目录下。
3. CI 验证记录；合并后，文档流程自动根据数据重新生成图表和表格。贡献者从不提交图片或编辑文档。

数据属性

• 记录文件很小（约 1–2 KB），包含完整的来源信息（CPU/GPU 型号、库版本，不含主机名）。
• 文件大小限制为 16 KB，以保持仓库轻量。

数据 API

基准记录以静态 JSON 形式发布在稳定 URL 上，可通过编程方式获取完整数据集：

• 清单：https://leuven-gravity-institute.github.io/gwmock-benchmark/data/v1/index.json
• 全部记录：https://leuven-gravity-institute.github.io/gwmock-benchmark/data/v1/records.json
• 按包和套件：https://leuven-gravity-institute.github.io/gwmock-benchmark/data/v1/<package>/<suite>.json
• 记录 schema：https://leuven-gravity-institute.github.io/gwmock-benchmark/data/v1/schema/record-v1.json

已基准测试的包

包名	套件	额外依赖
gwmock-signal	performance, consistency	gwmock-benchmark[signal]

更多包（如 gwmock-pop, gwmock-noise, gwmock）将以套件形式插入到 src/gwmock_benchmark/suites/ 目录下。

安装

bash uv pip install "gwmock-benchmark[signal]" # extra per package you want to benchmark

支持 Linux 和 macOS，Python 3.12–3.14。

CLI 命令

• 运行基准测试并写入记录： bash gwmock-benchmark signal performance --backend ripple --method batched --n-events 5000 -o out.json gwmock-benchmark signal consistency -o data/signal/consistency

• 生成集群提交脚本： bash gwmock-benchmark submit slurm --command "gwmock-benchmark signal performance ..." --cpus 8 --gpus 1 --time 04:00:00 -o run.slurm

• 将已提交的数据渲染为文档： bash gwmock-benchmark aggregate --data-dir data --docs-dir docs

贡献结果

参见 Contribute a benchmark 指南，完整流程为：本地或集群运行 → 添加数据文件 → 提交 Pull Request。

许可证

GPL-3.0-or-later — 详见 LICENSE。

搜集汇总

数据集介绍

构建方式

在引力波数据模拟与科学计算领域，基准测试作为评估算法性能与硬件适配性的关键手段，其标准化建设尤为迫切。gwmock-benchmark数据集由鲁汶大学引力研究所主导开发，旨在为gwmock系列软件包提供统一、可复现的性能评价框架。该数据集的构建遵循轻量化与可验证原则：用户通过命令行工具运行基准测试后，系统自动生成仅包含度量信息的JSON记录，大小控制在1至2千字节，完整携带中央处理器或图形处理器型号、库版本等环境来源信息，但不含主机名以保护隐私。用户通过向数据仓库的指定目录提交记录文件，经由持续集成验证后，文档管线自动生成图表与表格，任何贡献者无需手动提交图像或修改文档。

特点

该数据集的核心特色在于其极致的轻量性、完整的溯源能力与高度开放的协作机制。每条记录被严格限制在16千字节以内，确保仓库始终轻盈，易于维护。数据集通过定义清晰的数据应用程序接口，将已提交的记录以静态JSON格式发布于稳定统一资源定位符，用户可借助清单文件检索全量数据，支持按软件包或测试套件进行定向获取。基于JSON Schema的标准化记录格式，使得不同硬件环境下的测试结果具有天然的可比性。此外，数据集覆盖了性能与一致性等多种测试套件，并允许用户通过简单的拉取请求贡献来自自有硬件的评测结果，极大地促进了分布式协作与基准测试的社区共建。

使用方法

使用该数据集开展研究或性能评估时，首先需通过pip安装相应的基准测试工具包，并根据需求选择信号、布居或噪声等测试模块。用户可在本地或集群环境中执行命令行接口提供的基准测试命令，指定后端、方法及事件数量等参数后，输出为JSON格式的记录文件。若需开展批量或集群任务，可利用内置的作业提交功能自动生成调度脚本。获取全量数据集则可直接访问数据API的清单文件，通过HTTP请求批量下载所有记录或按套件分类的数据。社区成员在完成本地测试后，可将生成的JSON文件通过拉取请求提交至官方仓库，经持续集成流程验证后即成为公开数据集的一部分，从而丰富跨硬件平台的性能基线库。

背景与挑战

背景概述

引力波天文学作为二十一世纪最激动人心的科学前沿之一，其数据处理对高性能计算提出了严苛要求。gwmock-benchmark数据集由比利时鲁汶大学引力研究所于近年创建，核心研究团队致力于为gwmock软件生态（包括gwmock-signal、gwmock-pop等模拟工具包）构建一套统一、可重复的性能基准测试框架。该数据集旨在解决引力波模拟软件在不同硬件与算法配置下性能评估标准缺失的问题，通过标准化方法与公开可获取的测评结果，推动领域内计算效率的纵向比较与横向协作。自发布以来，该数据集已成为研究者评估和优化引力波模拟库的关键参照，其通过JSON格式存储的轻量级性能记录与丰富的数据API设计，显著降低了社区参与基准测试的门槛，对引力波数据处理工具的可持续发展产生了深远影响。

当前挑战

gwmock-benchmark所应对的核心挑战在于引力波模拟领域的测评鸿沟：现实中的引力波信号生成涉及复杂的波形模型与海量事件模拟，不同后端（如ripple）、批处理策略（batched）及硬件配置（CPU/GPU）间的性能差异巨大，而此前缺乏统一的横向比较标准。构建过程中，团队需解决多项技术难题：设计兼顾全面性与轻量化的数据格式，确保每条JSON记录（约1-2 KB）携带完备的软硬件溯源信息的同时不泄露主机敏感数据；维持跨包一致性，使gwmock-signal、gwmock-pop等独立工具包在同一测试规约下运行；以及通过自动化CI/CD管线实现从社区贡献的原始指标到可视化图表的无缝转换，避免人为操作偏差。此外，还需处理HPC环境（如lalsuite依赖）下的跨平台兼容性与集群作业调度适配等工程挑战。

常用场景

经典使用场景

在引力波天文学蓬勃发展的时代，模拟引力波信号（gwmock）的生成与处理软件包亟需一套统一、可复现的性能评估体系。gwmock-benchmark数据集为此而生，核心用途是为gwmock系列软件包（如gwmock-signal等）提供标准化的基准测试框架。研究者可通过该数据集在同一套流程中运行性能测试与一致性检验，并将生成的轻量级JSON记录以Pull Request形式贡献至仓库。数据集不仅包含测试指标，还提供了静态JSON数据API，允许用户程序化获取全量基准数据，从而摒弃手工抓取图表的不精确做法，实现了跨硬件、跨版本的可对比性能评测。

衍生相关工作

围绕gwmock-benchmark数据集已衍生出一系列配套工作。最核心的是其测试对象——gwmock-signal包，该包针对引力波信号的数值模拟实现了多种后端与算法。受该基准框架启发，社区正计划将更多gwmock生态组件（如gwmock-pop、gwmock-noise、gwmock）以测试套件形式接入，从而扩展覆盖至种群合成、噪声建模等下游环节。同时，数据集的CI验证流水线与自动化文档渲染管线设计，已作为可复现基准测试的范例，被其他科学计算项目借鉴。其提交贡献的轻量化流程亦降低了社区参与门槛，促进了引力波软件生态的协作与标准化。

数据集最近研究

最新研究方向

随着引力波天文学进入多信使观测时代，模拟引力波信号生成算法的性能评估成为关键挑战。gwmock-benchmark数据集应运而生，它构建了一套标准化、可复现的基准测试框架，专门用于评估gwmock系列软件包（如gwmock-signal）在引力波信号生成任务中的计算效率与结果一致性。该数据集通过轻量级（1-2KB）的JSON记录存储每次运行的性能指标与硬件环境元数据，并支持跨硬件平台的社区贡献，从而在引力波模拟社区中建立起统一、透明的性能比较基准。其数据API的静态发布机制更便于研究者在无需交互后端的情况下获取全部记录，为未来引力波模拟算法在HPC集群上的大规模对比与优化提供了坚实的数据基础设施。