MS-HAB-TidyHouse
收藏ManiSkill-HAB TidyHouse Dataset
数据集概述
- 语言: 英语 (en)
- 许可证: MIT
- 标签: 机器人学, 操作, 重排, 计算机视觉, 强化学习, 模仿学习, RGBD, RGB, 深度, 低级控制, 全身控制, 家庭助手, 仿真, ManiSkill
- 注释创建者: 机器生成
- 语言创建者: 机器生成
- 语言详情: 美式英语 (en-US)
- 数据集名称: ManiSkill-HAB TidyHouse Dataset
- 数据集大小: 1M < n < 10M (包含18K个片段和3.6M个转换)
- 任务类别: 机器人学, 强化学习
- 任务ID: 抓取, 任务规划
数据集配置
抓取任务
- pick-002_master_chef_can:
- 轨迹文件:
pick/002_master_chef_can.h5 - 元数据文件:
pick/002_master_chef_can.json
- 轨迹文件:
- pick-003_cracker_box:
- 轨迹文件:
pick/003_cracker_box.h5 - 元数据文件:
pick/003_cracker_box.json
- 轨迹文件:
- pick-004_sugar_box:
- 轨迹文件:
pick/004_sugar_box.h5 - 元数据文件:
pick/004_sugar_box.json
- 轨迹文件:
- pick-005_tomato_soup_can:
- 轨迹文件:
pick/005_tomato_soup_can.h5 - 元数据文件:
pick/005_tomato_soup_can.json
- 轨迹文件:
- pick-007_tuna_fish_can:
- 轨迹文件:
pick/007_tuna_fish_can.h5 - 元数据文件:
pick/007_tuna_fish_can.json
- 轨迹文件:
- pick-008_pudding_box:
- 轨迹文件:
pick/008_pudding_box.h5 - 元数据文件:
pick/008_pudding_box.json
- 轨迹文件:
- pick-009_gelatin_box:
- 轨迹文件:
pick/009_gelatin_box.h5 - 元数据文件:
pick/009_gelatin_box.json
- 轨迹文件:
- pick-010_potted_meat_can:
- 轨迹文件:
pick/010_potted_meat_can.h5 - 元数据文件:
pick/010_potted_meat_can.json
- 轨迹文件:
- pick-024_bowl:
- 轨迹文件:
pick/024_bowl.h5 - 元数据文件:
pick/024_bowl.json
- 轨迹文件:
放置任务
- place-002_master_chef_can:
- 轨迹文件:
place/002_master_chef_can.h5 - 元数据文件:
place/002_master_chef_can.json
- 轨迹文件:
- place-003_cracker_box:
- 轨迹文件:
place/003_cracker_box.h5 - 元数据文件:
place/003_cracker_box.json
- 轨迹文件:
- place-004_sugar_box:
- 轨迹文件:
place/004_sugar_box.h5 - 元数据文件:
place/004_sugar_box.json
- 轨迹文件:
- place-005_tomato_soup_can:
- 轨迹文件:
place/005_tomato_soup_can.h5 - 元数据文件:
place/005_tomato_soup_can.json
- 轨迹文件:
- place-007_tuna_fish_can:
- 轨迹文件:
place/007_tuna_fish_can.h5 - 元数据文件:
place/007_tuna_fish_can.json
- 轨迹文件:
- place-008_pudding_box:
- 轨迹文件:
place/008_pudding_box.h5 - 元数据文件:
place/008_pudding_box.json
- 轨迹文件:
- place-009_gelatin_box:
- 轨迹文件:
place/009_gelatin_box.h5 - 元数据文件:
place/009_gelatin_box.json
- 轨迹文件:
- place-010_potted_meat_can:
- 轨迹文件:
place/010_potted_meat_can.h5 - 元数据文件:
place/010_potted_meat_can.json
- 轨迹文件:
- place-024_bowl:
- 轨迹文件:
place/024_bowl.h5 - 元数据文件:
place/024_bowl.json
- 轨迹文件:
数据集详情
数据集描述
ManiSkill-HAB TidyHouse 数据集是一个用于 ManiSkill-HAB TidyHouse 的全身低级控制/操作演示数据集。每个子任务/对象组合（例如 pick 002_master_chef_can）有 1000 个成功的片段（200 个样本/演示），这些片段是通过 RL 策略 收集的，并使用基于规则的事件标注系统进行过滤以确保机器人行为安全。
TidyHouse 包含抓取和放置子任务。相对于其他 MS-HAB 长时任务（PrepareGroceries, SetTable），TidyHouse 抓取任务的难度为中等，而 TidyHouse 放置任务的难度为中等至困难（在简单-中等-困难的范围内）。
相关数据集
有关 MS-HAB 数据集的完整信息（大小、难度、链接等），包括其他长时任务，请访问 ManiSkill-HAB 网站。
使用场景
直接使用
该数据集可用于训练基于视觉的学习演示和模仿学习方法，这些方法可以在 MS-HAB 环境 中进行评估。该数据集也可作为计算机视觉任务的合成数据使用。
超出范围的使用
虽然可以基于此数据集训练盲状态策略，但建议训练基于视觉的策略以处理碰撞和障碍。
数据集结构
每个子任务/对象组合都有文件 [SUBTASK]/[OBJECT].json 和 [SUBTASK]/[OBJECT].h5。JSON 文件包含片段元数据、事件标签等，而 HDF5 文件包含演示数据。
数据集创建
数据是通过 RL 策略 收集的，并使用基于规则的事件标注系统进行过滤以确保机器人行为安全。
偏差、风险和限制
该数据集完全是合成的。
虽然 MS-HAB 支持高质量的光线追踪渲染，但由于效率原因，该数据集使用 ManiSkill 的默认渲染进行数据生成。然而，用户可以使用 数据生成代码 生成自己的数据。
引用
@article{shukla2024maniskillhab, author = {Arth Shukla and Stone Tao and Hao Su}, title = {ManiSkill-HAB: A Benchmark for Low-Level Manipulation in Home Rearrangement Tasks}, journal = {CoRR}, volume = {abs/2412.13211}, year = {2024}, url = {https://doi.org/10.48550/arXiv.2412.13211}, doi = {10.48550/ARXIV.2412.13211}, eprinttype = {arXiv}, eprint = {2412.13211}, timestamp = {Mon, 09 Dec 2024 01:29:24 +0100}, biburl = {https://dblp.org/rec/journals/corr/abs-2412-13211.bib}, bibsource = {dblp computer science bibliography, https://dblp.org} }
