five

R1_Lite_take_and_put_away_items

收藏
Hugging Face2025-11-28 更新2025-11-29 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/R1_Lite_take_and_put_away_items
下载链接
链接失效反馈
官方服务:
资源简介:
R1_Lite_take_and_put_away_items 数据集是基于 LeRobot 扩展格式构建的,与 LeRobot 完全兼容。该数据集使用 R1_Lite 机器人,代码库版本为 v2.1,末端执行器类型为双指抓取器。数据集涵盖了家庭场景类型,并包含了抓取、拾取、放置、拉动和推动等原子动作。数据集共有 112 个场景,137069 个帧,336 个视频,1 个任务,1 个数据块,大小为 1000,帧率为 30,数据集大小为 6.9GB。数据集由 RoboCOIN 团队贡献,并遵循 Apache-2.0 许可证。
创建时间:
2025-11-19
原始信息汇总

R1_Lite_take_and_put_away_items 数据集概述

📋 数据集基本信息

数据集名称: R1_Lite_take_and_put_away_items
许可证: apache-2.0
语言: 英语、中文
任务类别: 机器人学
标签: RoboCOIN、LeRobot
帧范围: 100K-1M

🤖 机器人配置

机器人类型: R1_Lite
代码库版本: v2.1
末端执行器类型: 两指夹爪

🏠 场景类型

  • 家庭场景

⚡ 原子动作

  • 抓取
  • 拾取
  • 放置
  • 拉动
  • 推动

📊 数据集统计

指标 数值
总情节数 112
总帧数 137069
总任务数 1
总视频数 336
总分块数 1
分块大小 1000
帧率 30 FPS
数据集大小 6.9GB

🎯 任务描述

主要任务: 在抽屉和桌子上取出或存放雨伞、水、数据线、盒子

子任务:

  1. 关闭抽屉
  2. 打开抽屉
  3. 将数据线放入抽屉
  4. 将矿泉水放入抽屉
  5. 将储物盒放入抽屉
  6. 将雨伞放入抽屉
  7. 从抽屉取出数据线并放在桌子上
  8. 从抽屉取出矿泉水并放在桌子上
  9. 从抽屉取出储物盒并放在桌子上
  10. 从抽屉取出雨伞并放在桌子上

🎥 视觉数据

摄像头视图: 3个
视频编码: AV1
分辨率: 1280×720
帧率: 30 FPS

🏷️ 可用标注

子任务标注

  • 子任务分割: 细粒度的子任务分割和标注

场景标注

  • 场景级描述: 语义场景分类和描述

末端执行器标注

  • 方向: 机器人末端执行器运动方向分类
  • 速度: 操作过程中的速度大小分类
  • 加速度: 运动分析的加速度大小分类

夹爪标注

  • 夹爪模式: 夹爪开/关状态标注
  • 夹爪活动: 活动状态分类(活动/非活动)

附加特征

  • 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息(状态和动作均可用)
  • 夹爪开口尺度: 连续的夹爪开口测量(状态和动作均可用)

📂 数据分割

训练集: 情节0-111

📁 数据集结构

文件组织

  • 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
  • 分块: 数据组织为1个分块,每个分块大小1000

特征架构

视觉观测

  • observation.images.cam_high_rgb:视频
  • observation.images.cam_left_wrist_rgb:视频
  • observation.images.cam_right_wrist_rgb:视频

状态和动作

  • observation.state:float32
  • action:float32

时间信息

  • timestamp:float32
  • frame_index:int64
  • episode_index:int64
  • index:int64
  • task_index:int64

标注

  • subtask_annotation:int32
  • scene_annotation:int32

运动特征

  • eef_sim_pose_state:float32(12维)
  • eef_sim_pose_action:float32(12维)
  • eef_direction_state:int32(2维)
  • eef_direction_action:int32(2维)
  • eef_velocity_state:int32(2维)
  • eef_velocity_action:int32(2维)
  • eef_acc_mag_state:int32(2维)
  • eef_acc_mag_action:int32(2维)

夹爪特征

  • gripper_open_scale_state:float32(2维)
  • gripper_open_scale_action:float32(2维)
  • gripper_mode_state:int32(2维)
  • gripper_mode_action:int32(2维)
  • gripper_activity_state:int32(2维)

👥 作者信息

贡献者: RoboCOIN团队

🔗 相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 项目页面: https://flagopen.github.io/RoboCOIN/
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📄 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

版本历史:

  • v1.0.0(2025年11月):初始发布
搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作数据采集领域,R1_Lite_take_and_put_away_items数据集通过Galaxea R1 Lite双指夹爪机器人系统构建而成。该数据集采用LeRobot扩展格式,包含112个完整操作片段,总计137,069帧视觉与运动数据。数据采集过程涵盖家庭场景下的物品存取任务,通过三路高清摄像头以30帧/秒的速率同步记录机器人操作过程,并以分块存储的Parquet格式保存多模态时序数据。
特点
该数据集的核心特征体现在其精细的动作标注体系与多维运动参数记录。数据集完整标注了抓取、拾取、放置等五种原子操作,并配备末端执行器的六维位姿、速度矢量及加速度模量等运动学参数。特别值得注意的是,数据集提供了双手协同操作的独立轨迹记录,包括14维关节状态空间与12维末端位姿空间的双重表征,为双臂协调控制研究提供了丰富样本。
使用方法
基于LeRobot兼容性设计,研究者可通过标准数据加载接口直接调用该数据集。数据按片段索引组织,支持从Parquet文件快速读取多路视频流与机器人状态序列。典型应用流程包括:解析视觉观测模块获取三视角RGB图像,结合状态动作对构建模仿学习模型,利用精细的动作标注进行分层强化学习训练。数据集预留的仿真位姿接口更便于在虚拟环境中进行策略迁移验证。
背景与挑战
背景概述
在机器人操作研究领域,家庭环境下的物品取放任务对自主系统的精细化控制提出了严峻考验。R1_Lite_take_and_put_away_items数据集由RoboCOIN团队于2025年11月发布,基于LeRobot框架扩展构建,专门针对R1_Lite双指夹爪机器人在居家场景中的物体操纵能力进行系统性数据采集。该数据集聚焦于雨伞、数据线、矿泉水等日常物品的抽屉存取操作,通过137,069帧多视角视频与多维运动标注,为双臂协调控制、精细抓取策略等核心问题提供了实证研究基础,显著推进了家庭服务机器人的实际应用进程。
当前挑战
该数据集致力于解决家庭环境中机器人精细化操作任务的泛化难题,具体包括多物体抓取姿态的适应性调整、抽屉开合过程中的动态避障等复杂场景。在构建过程中,团队面临多模态数据同步的技术挑战,需确保三路高清视频流与14维关节状态数据的毫秒级对齐;同时,对末端执行器的六维位姿、速度矢量等运动特征的精确标注,要求开发新型半自动标注流程以平衡效率与准确性,这些工作为后续大规模机器人操作学习奠定了重要数据基石。
常用场景
经典使用场景
在机器人操作学习领域,R1_Lite_take_and_put_away_items数据集为双臂机器人操作任务提供了丰富的训练资源。该数据集聚焦于家居环境中的物品存取场景,通过112个完整操作序列和13.7万帧数据,详细记录了机器人执行抓取、放置、推拉等基础动作的过程。其多视角视觉观测与精细的动作标注,为模仿学习与强化学习算法提供了理想的训练平台,特别适用于研究双臂协调操作中的运动规划与任务分解问题。
衍生相关工作
围绕该数据集已衍生出多项重要的研究工作。基于其丰富的多模态标注,研究者开发了端到端的操作策略学习框架,实现了从视觉观察到动作输出的直接映射。在动作分割领域,该数据集的精细时序标注催生了新型的分层动作识别算法。同时,其与LeRobot生态系统的深度整合,促进了开源机器人学习框架的标准化发展。这些工作共同推动了双臂操作机器人从实验室演示向实用化系统迈进的技术进程。
数据集最近研究
最新研究方向
在家庭服务机器人领域,R1_Lite_take_and_put_away_items数据集正推动双手机器人操作的前沿探索。该数据集通过精细的抓取、放置等原子动作标注,结合多视角视觉与运动轨迹数据,为模仿学习与强化学习算法提供了丰富训练素材。当前研究聚焦于跨场景泛化能力提升,利用端到端仿真姿态与抓取器动态特征,探索在复杂家居环境中物品存取任务的自主决策机制。随着RoboCOIN项目开源生态的扩展,该数据集正成为推动机器人操作技能迁移与零样本学习的关键基础设施,为具身智能在真实世界的应用落地奠定数据基石。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作