five

MS-HAB-PrepareGroceries

收藏
Hugging Face2024-12-20 更新2024-12-21 收录
下载链接:
https://huggingface.co/datasets/arth-shukla/MS-HAB-PrepareGroceries
下载链接
链接失效反馈
官方服务:
资源简介:
ManiSkill-HAB PrepareGroceries数据集是一个用于全身体低级控制/操作演示的数据集。每个子任务/对象组合(例如pick 002_master_chef_can)包含1000个成功剧集(每个演示200个样本),这些剧集是使用RL策略收集的,这些策略经过过滤以确保机器人行为的安全性,并使用基于规则的事件标签系统进行标注。PrepareGroceries包含拾取和放置子任务。相对于其他MS-HAB长期任务(如TidyHouse、SetTable),PrepareGroceries的拾取和放置任务难度为高(在简单-中等-高难度范围内)。该数据集旨在用于训练基于视觉的学习演示和模仿学习方法,并且还可以作为计算机视觉任务的合成数据。数据集是合成的,并使用基于规则的事件标签系统。它是ManiSkill-HAB项目的一部分,该项目还包括其他长期任务,如TidyHouse和SetTable。
创建时间:
2024-12-11
原始信息汇总

ManiSkill-HAB PrepareGroceries Dataset

数据集概述

  • 语言: 英语 (en)
  • 许可证: MIT
  • 标签: 机器人学, 操作, 重排, 计算机视觉, 强化学习, 模仿学习, RGBD, RGB, 深度, 低级控制, 全身控制, 家庭助手, 仿真, ManiSkill
  • 注释创建者: 机器生成
  • 语言创建者: 机器生成
  • 语言详情: 美式英语 (en-US)
  • 数据集名称: ManiSkill-HAB PrepareGroceries Dataset
  • 数据集大小: 1M<n<10M (包含18K个episode和3.6M个transition)
  • 任务类别: 机器人学, 强化学习
  • 任务ID: 抓取, 任务规划

数据集配置

配置列表

  • pick-002_master_chef_can

    • 轨迹文件: pick/002_master_chef_can.h5
    • 元数据文件: pick/002_master_chef_can.json
  • pick-003_cracker_box

    • 轨迹文件: pick/003_cracker_box.h5
    • 元数据文件: pick/003_cracker_box.json
  • pick-004_sugar_box

    • 轨迹文件: pick/004_sugar_box.h5
    • 元数据文件: pick/004_sugar_box.json
  • pick-005_tomato_soup_can

    • 轨迹文件: pick/005_tomato_soup_can.h5
    • 元数据文件: pick/005_tomato_soup_can.json
  • pick-007_tuna_fish_can

    • 轨迹文件: pick/007_tuna_fish_can.h5
    • 元数据文件: pick/007_tuna_fish_can.json
  • pick-008_pudding_box

    • 轨迹文件: pick/008_pudding_box.h5
    • 元数据文件: pick/008_pudding_box.json
  • pick-009_gelatin_box

    • 轨迹文件: pick/009_gelatin_box.h5
    • 元数据文件: pick/009_gelatin_box.json
  • pick-010_potted_meat_can

    • 轨迹文件: pick/010_potted_meat_can.h5
    • 元数据文件: pick/010_potted_meat_can.json
  • pick-024_bowl

    • 轨迹文件: pick/024_bowl.h5
    • 元数据文件: pick/024_bowl.json
  • place-002_master_chef_can

    • 轨迹文件: place/002_master_chef_can.h5
    • 元数据文件: place/002_master_chef_can.json
  • place-003_cracker_box

    • 轨迹文件: place/003_cracker_box.h5
    • 元数据文件: place/003_cracker_box.json
  • place-004_sugar_box

    • 轨迹文件: place/004_sugar_box.h5
    • 元数据文件: place/004_sugar_box.json
  • place-005_tomato_soup_can

    • 轨迹文件: place/005_tomato_soup_can.h5
    • 元数据文件: place/005_tomato_soup_can.json
  • place-007_tuna_fish_can

    • 轨迹文件: place/007_tuna_fish_can.h5
    • 元数据文件: place/007_tuna_fish_can.json
  • place-008_pudding_box

    • 轨迹文件: place/008_pudding_box.h5
    • 元数据文件: place/008_pudding_box.json
  • place-009_gelatin_box

    • 轨迹文件: place/009_gelatin_box.h5
    • 元数据文件: place/009_gelatin_box.json
  • place-010_potted_meat_can

    • 轨迹文件: place/010_potted_meat_can.h5
    • 元数据文件: place/010_potted_meat_can.json
  • place-024_bowl

    • 轨迹文件: place/024_bowl.h5
    • 元数据文件: place/024_bowl.json

数据集详情

数据集描述

ManiSkill-HAB PrepareGroceries数据集是一个用于ManiSkill-HAB PrepareGroceries任务的演示数据集。每个子任务/对象组合(例如pick 002_master_chef_can)有1000个成功的episode(每个演示200个样本),这些数据是通过RL策略收集的,并使用基于规则的事件标注系统进行过滤,以确保机器人行为的安全性。

PrepareGroceries包含Pick和Place子任务。相对于其他MS-HAB长期任务(如TidyHouse、SetTable),PrepareGroceries Pick和PrepareGroceries Place属于困难难度(在简单-中等-困难的范围内)。

相关数据集

有关MS-HAB数据集的完整信息(包括其他长期任务),请访问ManiSkill-HAB网站

使用场景

直接使用

该数据集可用于训练基于视觉的演示学习和模仿学习方法,这些方法可以在MS-HAB环境中进行评估。该数据集也可作为计算机视觉任务的合成数据使用。

超出范围的使用

虽然可以基于此数据集训练盲状态策略,但建议训练基于视觉的策略以处理碰撞和障碍。

数据集结构

每个子任务/对象组合都有文件[SUBTASK]/[OBJECT].json[SUBTASK]/[OBJECT].h5。JSON文件包含episode元数据、事件标签等,而HDF5文件包含演示数据。

数据集创建

数据是通过RL策略收集的,并使用基于规则的事件标注系统进行过滤,以确保机器人行为的安全性。

偏差、风险和限制

该数据集完全是合成的。

虽然MS-HAB支持高质量的光线追踪渲染,但由于效率原因,该数据集使用ManiSkill的默认渲染进行数据生成。然而,用户可以使用数据生成代码生成自己的数据。

引用

@article{shukla2024maniskillhab, author = {Arth Shukla and Stone Tao and Hao Su}, title = {ManiSkill-HAB: A Benchmark for Low-Level Manipulation in Home Rearrangement Tasks}, journal = {CoRR}, volume = {abs/2412.13211}, year = {2024}, url = {https://doi.org/10.48550/arXiv.2412.13211}, doi = {10.48550/ARXIV.2412.13211}, eprinttype = {arXiv}, eprint = {2412.13211}, timestamp = {Mon, 09 Dec 2024 01:29:24 +0100}, biburl = {https://dblp.org/rec/journals/corr/abs-2412-13211.bib}, bibsource = {dblp computer science bibliography, https://dblp.org} }

搜集汇总
数据集介绍
main_image_url
构建方式
MS-HAB-PrepareGroceries数据集通过强化学习策略生成,并经过筛选以确保机器人行为的稳定性。每个子任务/对象组合(如pick 002_master_chef_can)包含1000个成功的演示片段,每个片段包含200个样本。数据集使用基于规则的事件标注系统进行标注,确保数据的准确性和一致性。
特点
该数据集的特点在于其专注于低级别的控制和操作演示,适用于机器人操作和家庭辅助任务。数据集包含多个子任务,如抓取和放置,每个子任务针对不同的对象进行操作。此外,数据集还提供了详细的元数据和事件标签,便于进一步的分析和应用。
使用方法
MS-HAB-PrepareGroceries数据集可用于训练基于视觉的学习和模仿学习方法,特别适用于计算机视觉任务。用户可以通过访问提供的JSON和HDF5文件来获取演示数据和元数据,进行模型训练和评估。建议使用视觉策略以处理碰撞和障碍物,从而提高模型的鲁棒性。
背景与挑战
背景概述
MS-HAB-PrepareGroceries数据集是由Arth Shukla、Stone Tao和Hao Su等研究人员创建的,旨在为家庭重排任务中的低级操作提供一个全面的基准。该数据集专注于机器人操作和重排任务,特别是准备杂货的子任务,如抓取和放置。通过使用强化学习策略生成的轨迹数据,结合规则基础的事件标签系统,确保了数据的安全性和有效性。该数据集的创建不仅推动了机器人操作领域的发展,还为模仿学习和计算机视觉任务提供了宝贵的资源。
当前挑战
MS-HAB-PrepareGroceries数据集面临的主要挑战包括:首先,数据集的生成依赖于强化学习策略,这可能导致数据分布的偏差,尤其是在处理复杂场景时。其次,尽管数据集使用了高效的渲染技术,但其默认渲染可能无法完全捕捉真实世界中的视觉细节,这可能影响模型的泛化能力。此外,数据集的纯合成性质意味着它可能缺乏真实世界中的物理交互和环境变化,这为模型的实际应用带来了一定的局限性。
常用场景
经典使用场景
MS-HAB-PrepareGroceries数据集主要用于训练基于视觉的模仿学习和示教学习方法,特别是在机器人操作和重排任务中。该数据集包含了多个子任务和对象组合的成功轨迹,适用于开发和评估机器人抓取和放置任务的策略。通过使用这些轨迹数据,研究者可以训练机器人执行复杂的操作任务,如从杂乱的场景中抓取和放置物品,从而实现家庭助手机器人的自动化操作。
实际应用
在实际应用中,MS-HAB-PrepareGroceries数据集可以用于训练家庭助手机器人执行日常任务,如准备食材、整理物品等。通过模拟真实的家庭环境,该数据集能够帮助机器人学习如何在复杂和动态的环境中进行有效的操作。此外,该数据集还可以作为计算机视觉任务的合成数据源,用于训练和验证视觉识别和定位算法。
衍生相关工作
基于MS-HAB-PrepareGroceries数据集,研究者已经开发了多种相关的经典工作,包括改进的强化学习策略、模仿学习算法以及视觉识别和定位技术。这些工作不仅提升了机器人操作的精度和效率,还为其他家庭重排任务(如TidyHouse和SetTable)提供了参考和基础。此外,该数据集还激发了更多关于机器人低级控制和操作任务的研究,推动了整个领域的技术进步。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作