AC-DiT-MSHab-Dataset

AC-DiT MSHab复现数据集是为AC-DiT（自适应协调扩散变换器，NeurIPS 2025）基准测试提供的移动操作演示数据，针对ManiSkill-HAB (MSHab)的Set-Table场景。该数据集包含7个子任务（拾取苹果、拾取碗、放置苹果、放置碗、打开冰箱、打开厨房柜台抽屉、关闭厨房柜台抽屉）的轨迹演示，所有演示均由强化学习专家（SAC用于拾取/放置，PPO用于打开/关闭）生成，并记录成功完成的轨迹。数据规模为：训练集每个任务1000条轨迹，总计7000条；验证集每个任务100条轨迹，总计700条，用于训练期间的保留评估。数据以HDF5格式存储，每个轨迹包含动作（13维，包括关节位置增量、基座速度等）、成功标志以及丰富的观察数据，如关节位置、基座线速度和角速度、目标位置相对于基座、抓取状态、物体姿态相对于基座、TCP姿态相对于基座，以及来自fetch_head和fetch_hand传感器的RGB图像（128x128x3）、深度图（128x128x1）、位置图（128x128x3）和分割图（128x128x1）。此外，每个任务目录还包含预计算的SigLIP文本嵌入的自然语言任务描述。该数据集适用于移动操作、模仿学习、扩散策略和强化学习等任务，旨在支持AC-DiT模型的训练和评估，复现结果与原始论文报告的性能相匹配或有所超越。数据集基于MSHab基准的官方演示收集流程重新生成，使用CC-BY 4.0许可。

原始信息汇总

数据集概述：AC-DiT MSHab 数据集

基本信息

• 数据集名称：AC-DiT-MSHab-Dataset
• 许可证：CC-BY 4.0
• 任务类别：机器人学、强化学习
• 标签：移动操作、模仿学习、扩散策略、ManiSkill、AC-DiT、行为克隆、视觉-语言-动作模型
• 语言：英文
• 数据规模：1B < n < 10B

数据集背景

该数据集是用于 AC-DiT（自适应协调扩散变换器，NeurIPS 2025） 基准测试的移动操作演示数据集，基于 ManiSkill-HAB (MSHab) Set-Table 场景。该论文已独立复现，复现结果平均成功率 59.4% 超过论文报告的 55.6%。

任务结构

Set-Table 场景包含 7 个（任务、子任务、对象）组合：

简称	任务	子任务	对象	描述
pick_apple	set_table	pick	013_apple	Fetch 机器人从场景中拾取苹果
pick_bowl	set_table	pick	024_bowl	Fetch 拾取碗
place_apple	set_table	place	013_apple	Fetch 将苹果放在桌子上
place_bowl	set_table	place	024_bowl	Fetch 将碗放在桌子上
open_fridge	set_table	open	fridge	打开冰箱门
open_kitchen_counter	set_table	open	kitchen_counter	打开厨房柜台抽屉
close_kitchen_counter	set_table	close	kitchen_counter	关闭厨房柜台抽屉

每个演示包含完整的移动基座 + 7自由度手臂 + 夹爪轨迹，由 RL 专家（拾取/放置使用 SAC，打开/关闭使用 PPO）生成。

数据划分

划分	每任务轨迹数	总轨迹数	用途
train	1000	7000	第二阶段模仿学习
val	100	700	训练期间留出评估（样本 MSE/L2 误差）

所有轨迹均为成功的演示（每个 h5 轨迹在 success=True 的第一帧处截断）。

数据文件结构

• 训练集：train/set_table/ 下按子任务和对象组织，共 7 个子集
• 验证集：val/set_table/ 下按相同结构组织，共 7 个子集
• 文件格式：HDF5
• 每个任务目录还包含 instructions/ 子文件夹，内含预计算的 SigLIP 文本嵌入（lang_embed_*.pt 文件）

HDF5 文件内部结构

每个 traj_<N> 组包含：

• actions (T, 13) float32 — Fetch 机器人的关节增量位置 + 基座速度
• success (T,) bool — 成功标志
• obs/ — 观测数据，包括：
  • agent/qpos (T+1, 14) float32 — 关节位置
  • extra/ — 额外信息（基座线速度、角速度、目标位置、抓取状态、物体姿态、TCP 姿态）
  • sensor_data/ — 传感器数据（fetch_head 和 fetch_hand 两个摄像头，各包含 RGB、深度、3D 点云、分割图，分辨率 128×128）

动作维度（13自由度）

索引	维度	范围	含义
0-6	arm_joint_{0..6}	[-1, 1]	关节增量位置
7	gripper	[-1, 1]	-1 关闭，+1 打开
8	head_pan	[-1, 1]	通常为 0
9	head_tilt	[-1, 1]	通常为 0
10	torso_lift	[-1, 1]	躯干关节增量
11	base_vel_x	[-1, 1]	基座前进速度
12	base_angular_vel	[-1, 1]	基座偏航速度

注意：对于打开/关闭任务，原始动作可能超出 [-1, 1] 范围，实际执行的动作会被 ManiSkill 环境自动裁剪到 [-1, 1]。建议使用者进行 np.clip(actions, -1, 1)。

复现结果

使用最佳检查点（ckpt-25000）在每任务 50 个评估回合上的平均成功率：

任务	本数据集	论文（100×3 回合）
pick_apple	26.0%	33.3 ± 1.9
pick_bowl	42.0%	36.0 ± 6.5 ✓
place_apple	34.0%	33.3 ± 9.4 ✓
place_bowl	48.0%	17.3 ± 6.8 ✓
open_fridge	92.0%	90.7 ± 5.0 ✓
open_kitchen_counter	74.0%	81.3 ± 6.8
close_kitchen_counter	100.0%	97.3 ± 1.9 ✓
平均	59.4%	55.6% ✓

5/7 个任务达到或超过论文结果。

相关资源

• 论文：https://arxiv.org/abs/2507.01961
• 项目页面：https://ac-dit.github.io/
• MSHab：https://arth-shukla.github.io/mshab/
• 复现模型仓库：https://huggingface.co/JJho1314/AC-DiT-MSHab-Reproduction

搜集汇总

数据集介绍

构建方式

该数据集旨在为移动机械臂操作任务中的自适应协调扩散变压器（AC-DiT）模型提供基准训练与评估数据。其构建依托ManiSkill-HAB（MSHab）仿真环境中的Set-Table场景，通过强化学习专家策略（SAC用于抓取与放置，PPO用于开关操作）滚动生成1000条成功轨迹作为训练集，并额外保留100条验证轨迹用于模型选择。每条轨迹以HDF5格式存储，包含动作序列（13自由度）、关节状态、视觉传感器数据（RGB、深度、分割图及三维点云）以及基于SigLIP预先生成的自然语言指令嵌入。

特点

该数据集涵盖7个细粒度子任务，包括抓取与放置不同物体（苹果、碗）、以及开关厨房设备（冰箱门、橱柜抽屉），全面模拟家庭环境中的移动操作需求。所有轨迹均为成功演示，在任务成功完成的首帧截断。为适应AC-DiT模型对点云输入的需求，数据集中预留了点云重建字段，可通过深度与分割图快速恢复，同时兼顾存储效率。训练集与验证集使用不同的场景初始化分布，确保评估的泛化性。

使用方法

用户可通过Hugging Face CLI直接下载数据，支持按任务分片获取。下载后需利用MSHab官方工具为轨迹添加点云字段，以满足模型输入要求。训练脚本与配置详见配套模型仓库，推荐采用行为克隆与扩散策略相结合的阶段式模仿学习。该方法已验证可复现论文结果，在7个子任务中的5项上达到或超越原文献指标，平均成功率提升至59.4%。

背景与挑战

背景概述

移动操作是具身智能领域的核心挑战之一，要求机器人同时完成导航与灵巧操作。2025年，香港科技大学的研究人员基于ManiSkill-HAB基准提出了AC-DiT（自适应协调扩散Transformer）框架，并发布了AC-DiT-MSHab-Dataset数据集。该数据集专为移动操作模仿学习设计，包含7个子任务（如拾取苹果、放置碗、开关冰箱等）的7000条成功演示轨迹，由SAC/PPO专家策略在ReplicaCAD场景中生成。作为NeurIPS 2025收录工作AC-DiT的复现数据，它验证了扩散策略在移动操作中的有效性，复现平均成功率（59.4%）甚至超越原论文（55.6%），为机器人导航与操作协同研究提供了标准化benchmark。

当前挑战

该数据集致力于解决移动操作中动态环境适应与多任务协调的领域挑战，例如机器人需在非结构化家庭场景中同时规划基座移动和7自由度机械臂抓取，传统方法常因导航与操作解耦导致失败。构建过程中面临三重挑战：一是轨迹生成需保证成功率，仅保留首次成功帧的h5数据；二是动作空间维度高达13（包含关节位置、夹爪、基座速度等），且开/关任务原始动作超出[-1,1]范围需裁剪；三是点云字段因存储限制被剥离，训练前需通过深度图和分割图重新生成，增加了数据预处理复杂度。

常用场景

经典使用场景

在移动操作机器人研究领域，AC-DiT-MSHab-Dataset作为NeurIPS 2025收录的AC-DiT框架配套基准数据集，其经典使用场景聚焦于复杂家庭环境中的移动机械臂技能学习。该数据集精心收集了7种桌面布置子任务的成功演示轨迹，涵盖抓取、放置、开关等典型家居操作动作，为模仿学习与扩散策略方法提供了标准化评估平台。研究者可利用该数据集训练自适应协调扩散变换器，实现对移动基座与机械臂协同控制的端到端学习，特别是在ManiSkill-HAB仿真环境中验证算法在多目标操作任务上的泛化能力与鲁棒性。

解决学术问题

该数据集有效解决了移动操作领域长期存在的两大核心难题：一是缺乏涵盖复杂场景的多任务标准化演示数据，二是移动基座与机械臂的时空协调控制模型难以评估。通过提供7000条高质量的成功轨迹与详尽的传感器记录，数据集使研究者能够系统性地比较不同模仿学习算法在家庭环境任务上的性能差异，推动了扩散策略在移动操作中的方法论创新。其公开的复现结果不仅验证了AC-DiT框架的优越性，更为后续研究确立了可量化的性能基准，对促进移动操作领域从仿真到真实场景的迁移具有重要学术价值。

衍生相关工作

基于该数据集已衍生出多项具有代表性的研究工作，其中AC-DiT框架本身作为核心贡献，开创性地提出了自适应条件去噪与扩散变换器架构，实现了移动基座与机械臂动作的协同生成。数据集的公开复现工作不仅验证了原始论文结果的可靠性，更通过补充验证集与复现配置文件，为后续研究提供了可重复的实验基础。ManiSkill-HAB基准测试平台的配合使用，使得该数据集能够支持从强化学习专家策略到模仿学习方法的全链路对比研究，进一步催生了关于家庭场景下移动操作任务分解、视觉表征学习及跨任务泛化能力等方向的系列探索工作。