VLA-Challenge-Dataset

# VLA Challenge Dataset 面向“具身智能机器人黑客松”初赛 VLA 操作赛道发布的训练数据集。 本数据集提供天轶 TianYi 2.0 双臂机器人与 BrainCo 2 灵巧手的操作示范轨迹，可用于训练、微调和验证 Vision-Language-Action（VLA）、模仿学习及机器人操作策略。 - 训练代码示例：[x-humanoid-vla-simulation-benchmark](https://github.com/Open-X-Humanoid/x-humanoid-vla-simulation-benchmark) - 参赛手册：[具身智能机器人黑客松参赛手册](https://zitd5je6f7j.feishu.cn/wiki/KKiSwLHAmi1DWgkG8PecOCzynze) - 联系邮箱：[e-mail] > 赛事规则、时间节点和评测要求可能持续更新，请以最新版参赛手册及组委会通知为准。 ## 1. 赛道简介 VLA 操作赛道基于 NVIDIA Isaac Sim 5.1 搭建线上仿真评测环境。参赛者需要实现策略推理程序，使天轶 TianYi 2.0 双臂机器人在随机生成或随机抽取的场景中完成指定操作任务。 评测平台负责： - 启动仿真并加载机器人与场景； - 向参赛者程序发送机器人状态和视觉观测； - 接收参赛者程序输出的动作指令； - 根据任务成功条件自动完成评测。 本数据集用于帮助参赛者训练和调试操作策略，不代表最终评测场景的完整分布。 ## 2. 开放任务 当前 VLA 赛道包括以下五类开放任务： | 任务 | 目标 | | --- | --- | | 打开电子天平侧门 | 使用右臂打开电子天平门 | | 关闭电子天平侧门 | 使用右臂关闭电子天平门 | | 双手传递开关放进托盘 | 左手抓起开关，传递给右手并放入红色托盘 | | 左手把齿轮放到托盘 | 使用左手将齿轮放入红色托盘 | | 双手放置工业开关 | 使用双手将两个工业开关放入粉色收纳篮 | 参赛者可以直接使用上述任务描述作为语言指令，也可以在不改变任务语义的前提下进行指令增强。 ## 3. 数据集规模 当前版本包含 **5 个任务子集、1,014 条 HDF5 轨迹**，总下载大小约为 **56.93 GiB**。 | 子集 | 轨迹数 | 大小 | | --- | ---: | ---: | | `ind_task_01` | 202 | 7.85 GiB | | `ind_task_02` | 208 | 10.08 GiB | | `ind_task_03` | 200 | 13.20 GiB | | `lab_task_01` | 200 | 13.61 GiB | | `lab_task_03` | 204 | 12.18 GiB | | **合计** | **1,014** | **56.93 GiB** | 不同轨迹时长不同，单个文件大小约为 25–125 MiB。 ## 4. 目录结构 ```text VLA-Challenge-Dataset/ ├── ind_task_01/ │ └── h5_data/ │ ├── *.hdf5 │ └── ... ├── ind_task_02/ │ └── h5_data/ ├── ind_task_03/ │ └── h5_data/ ├── lab_task_01/ │ └── h5_data/ ├── lab_task_03/ │ └── h5_data/ ├── .gitattributes └── README.md ``` 每个 `.hdf5` 文件对应一条完整操作轨迹。文件名由轨迹编号和采集时间组成，例如： ```text a114000-2026_06_27_10_43_00.hdf5 ``` ## 5. 数据内容 数据以 HDF5 格式保存，用于承载时间同步的机器人操作轨迹。训练时主要关注以下信息： - 视觉观测； - 左右机械臂关节状态； - 左右灵巧手关节状态； HDF5 内部数据集的第一维通常为时间维。不同版本的数据键可能有所调整，请以文件内实际结构为准，不建议在未检查样本的情况下硬编码键名。 ## 6. 下载数据 ### 6.1 使用 ModelScope CLI ```bash pip install -U modelscope modelscope download \ --dataset X-Humanoid/VLA-Challenge-Dataset \ --local_dir ./VLA-Challenge-Dataset ``` 只下载指定任务子集： ```bash modelscope download \ --dataset X-Humanoid/VLA-Challenge-Dataset \ --include "ind_task_01/**" \ --local_dir ./VLA-Challenge-Dataset ``` ### 6.2 使用 Git LFS 请先安装并启用 Git LFS： ```bash git lfs install git clone \ https://www.modelscope.cn/datasets/X-Humanoid/VLA-Challenge-Dataset.git ``` 如果克隆后 `.hdf5` 文件只有约 130 字节，说明当前文件是 Git LFS 指针，需要执行： ```bash cd VLA-Challenge-Dataset git lfs pull ``` 完整数据约 57 GiB，建议预留至少 70 GiB 可用磁盘空间。 ## 7. License 本数据集采用 [Apache License 2.0](https://www.apache.org/licenses/LICENSE-2.0) 发布。 使用、修改或再发布本数据集时，请保留原始版权和许可声明。若用于论文、技术报告、产品文档或公开演示，建议注明数据来源： ```text VLA Challenge Dataset, Beijing Humanoid Robot Innovation Center / X-Humanoid, https://modelscope.cn/datasets/X-Humanoid/VLA-Challenge-Dataset ``` ## 8. 联系方式 如发现文件损坏、数据无法下载、字段异常或对赛事规则存在疑问，请联系： ```text [e-mail] ```