zimplex/genesis-hr-bench-dp3-per-task-progressive-20260529

Genesis HR Bench — DP3每任务渐进式评估数据集（版本per_task_20260529_051038）是一个用于机器人策略评估的数据集，包含44个任务在DP3（3D Diffusion Policy）训练和评估管道中的渐进式上传结果。每个任务在单个H200 GPU上并行训练，训练时间至少4小时后，系统会自动为每个新检查点提交评估任务，数据集收集这些评估结果。数据集结构按任务组织，每个任务文件夹下包含按epoch和测试平均分数命名的子目录，其中存储评估结果文件（如results.json、eval.log、manifest.txt）、视频文件（前3个episode的mp4视频）和动作轨迹数据。数据集的生成涉及训练脚本、后台监控程序、评估脚本和上传脚本。用户可以通过HuggingFace Hub下载数据集，并筛选特定任务。数据集主要用于分析策略质量与训练时间的关系，但部分任务存在模拟问题（如缺少资产或Genesis模拟错误）。Genesis HR Bench — DP3 Per-Task Progressive Evaluation Dataset (version per_task_20260529_051038) is a dataset for robotic policy evaluation. It contains progressive upload results of 44 tasks through the DP3 (3D Diffusion Policy) training and evaluation pipeline. Each task is trained in parallel on a single H200 GPU. After at least 4 hours of training, the system automatically submits evaluation tasks for each new checkpoint, and the dataset collects these evaluation results. The dataset is organized by task: each task folder contains subdirectories named after epoch and test average score, which store evaluation result files (e.g., results.json, eval.log, manifest.txt), video files (mp4 videos of the first 3 episodes), and motion trajectory data. The generation of this dataset involves training scripts, background monitoring programs, evaluation scripts, and upload scripts. Users can download the dataset via the Hugging Face Hub and filter for specific tasks. This dataset is primarily used to analyze the relationship between policy quality and training time, though some tasks have simulation issues such as missing assets or Genesis simulation errors.

搜集汇总

数据集介绍

构建方式

该数据集源于一项面向机器人操控任务的渐进式评估实验，依托44个并行的DP3（3D扩散策略）训练流程，每个任务分配至单个H200 GPU，并在超算环境中运行。训练脚本采用Slurm数组作业调度，每项任务执行3000个epoch，时限12小时。当任一训练作业运行超过4小时后，后台监控守护进程以5分钟为间隔轮询新生成的检查点，并为每个新检查点提交独立的单GPU评估作业，覆盖100个episode。评估结果随完成进度原子化上传至HuggingFace仓库，形成递增式数据集版本，有效反映了策略质量随训练时间演进的动态过程。

特点

数据集以任务为单位组织，每个任务目录下包含按检查点时间步（如epoch=0050、epoch=0100等）划分的子目录，每个子目录内存储了success_rate、successes、episodes等关键评分指标的results.json文件，以及完整的eval日志、视频记录（前3个episode的mp4）、动作轨迹和服务器日志。特别地，检查点标签保留了.ckpt前的原始命名，确保了按epoch单调排序的能力，便于绘制训练时间与策略质量的关系曲线。此结构支持用户根据精度需求灵活选用最新或早期检查点，实现了性能与计算成本的权衡。

使用方法

用户可通过HuggingFace的snapshot_download函数按任务名拉取所需子集，指定allow_patterns参数即可精准过滤。数据集的简洁分层结构使得加载results.json文件即可获得权威评分指标，而videos和traces子目录则为定性分析提供了丰富素材。需要注意的是，个别任务（如stamp_documents）因缺失网格资产文件导致所有episode成功率归零，部分_neutral变体因Genesis仿真引擎的bug影响评估结果，用户在分析时应留意这些已知的模拟问题，以避免误判策略性能。

背景与挑战

背景概述

该数据集由Zimplex团队于2026年5月创建，依托高性能计算集群（H200 GPU）与3D Diffusion Policy（DP3）框架，旨在系统性评估机器人操作策略在44个精细任务上的渐进式训练效果。研究聚焦于扩散模型在灵巧操作领域的泛化能力与计算效率权衡，通过并行训练与分阶段评估范式，为机器人学习社区提供了首个覆盖多任务、多检查点的标准化基准。其影响力在于推动扩散策略从单任务演示向大规模多任务学习的跃迁，为后续算法比较与资源调度策略优化奠定了数据基础。

当前挑战

领域层面，该数据集需解决扩散策略在多任务场景下的可扩展性难题，包括44个异质任务间策略共享与干扰问题，以及不同任务步长差异（120-890步）对评估一致性的挑战。构建过程中，面临分布式训练与评估的工程复杂性，如单GPU无DDP钩子下的长时间训练监控、跨任务检查点异步收集的时序对齐，以及仿真环境资产缺失（如stamp_documents的inkpad.obj）与物理引擎瑕疵（_neutral变体的非直立异常）导致的部分任务性能失真，需通过逐任务异常标注与渐进式数据流设计加以规避。

常用场景

经典使用场景

在机器人操作技能学习的前沿探索中，Genesis HR Bench数据集为模仿学习方法提供了高保真度的性能评估基准。其核心使用场景在于评估基于扩散策略的机器人操作策略（如3D Diffusion Policy, DP3）在44种精细操作任务上的渐进式训练效果。每个任务均经过长达3000个epoch的独立训练，并定期在100个episode的测试集上评估，生成包括成功率、轨迹与视频在内的完整记录。研究者可通过不同epoch的检查点深入分析策略质量随训练时间的演变规律，从而优化训练策略与计算资源分配。

解决学术问题

该数据集系统性地解决了机器人模仿学习领域中策略质量与计算代价权衡的量化难题。传统研究往往仅报告最终性能，而忽视了策略表现随训练进程的动态演化。通过提供每个检查点的跨任务评估结果，数据集使得研究者能够探究不同操作任务的收敛速度差异、过拟合风险以及计算资源利用率。这对于理解深度生成模型在机器人控制中的泛化边界具有关键意义，尤其为分析扩散策略在不同操作复杂度下的鲁棒性和效率提供了实证基础。

衍生相关工作

此数据集衍生了一系列关于扩散策略效率优化与跨任务迁移学习的经典工作。研究者利用其渐进式评估特性，开发了基于学习曲线早期截断的训练预算分配方法，以及融合多任务共享表示的参数高效微调框架。部分工作还基于该数据集的评估日志，验证了检查点选择策略对最终部署性能的影响，并提出了自适应早停准则。此外，数据集中暴露的仿真器缺陷（如缺失网格资源导致的零成功率）也催生了机器人模拟环境鲁棒性测试的相关研究。