R1_Lite_take_and_put_away_garden_stuff

R1_Lite_take_and_put_away_garden_stuff数据集是基于LeRobot扩展格式的，完全兼容LeRobot。它包含53个总剧集，共135711帧，1个任务和159个视频。数据集包括11个不同的子任务，3个摄像头视图，丰富的注释，如子任务分割、场景描述、末端执行器运动方向、速度和加速度分类，以及夹持器开合状态和活动状态分类等。数据集分为训练集和测试集，遵循LeRobot格式，包含视频、状态数据、动作数据和元数据。数据集在Apache-2.0许可下发布。

原始信息汇总

R1_Lite_take_and_put_away_garden_stuff 数据集概述

基本信息

• 数据集名称: R1_Lite_take_and_put_away_garden_stuff
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 数据规模: 100K-1M帧

技术规格

• 机器人类型: R1_Lite
• 代码库版本: v2.1
• 末端执行器类型: two_finger_gripper
• 场景类型: home
• 原子动作: grasp, pick, place, pull, push

数据集统计

指标	数值
总情节数	53
总帧数	135711
总任务数	1
总视频数	159
总分块数	1
分块大小	1000
帧率	30 FPS
数据集大小	7.5GB

任务描述

主要任务

将园艺物品放入冰箱抽屉然后取出放到桌子上

子任务

包含11个不同的子任务：

1. abnormal
2. Close the lid
3. Find toys out of the box
4. null
5. Open the lid
6. Pick up the ball on the floor
7. Pick up the ball on the lid
8. Pick up the ball on the table
9. Pick up toys out of the box
10. Put the ball in the box
11. Put the toys in the box

数据特征

视觉观测

• observation.images.cam_high_rgb: 视频，30 FPS，AV1编码
• observation.images.cam_left_wrist_rgb: 视频，30 FPS，AV1编码
• observation.images.cam_right_wrist_rgb: 视频，30 FPS，AV1编码

状态与动作

• observation.state: float32，14维
• action: float32，14维

时间信息

• timestamp, frame_index, episode_index, index, task_index

标注信息

• 子任务标注: subtask_annotation
• 场景标注: scene_annotation

运动特征

• 末端执行器模拟位姿（状态和动作）
• 末端执行器方向、速度、加速度分类
• 夹爪开合尺度、模式、活动状态

数据组织

文件结构

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据划分

• 训练集: 情节0:52

作者信息

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，R1_Lite_take_and_put_away_garden_stuff数据集通过R1_Lite双指夹爪机器人在家庭环境中执行园艺物品存取任务构建而成。该数据集采用基于LeRobot框架的扩展格式，包含53个完整操作序列，总计135711帧视觉与运动数据。数据以分块形式组织，每个数据块包含1000帧，通过多视角RGB视频（高清、左右腕部摄像头）与14维关节状态动作向量同步记录，并采用AV1编码压缩存储于Parquet格式文件中。

使用方法

研究者可通过LeRobot兼容接口直接加载该数据集，其标准化的数据路径模式支持按分块索引快速访问。训练阶段可调用observation.images三路视频流与observation.state关节观测数据作为输入，动作空间则对应14维的action向量。丰富的标注信息允许开展多层次研究：subtask_annotation支持分段模仿学习，eef_sim_pose系列特征适于动力学建模，gripper_mode等标注则可用于精细操作策略分析。数据已预划分为训练集（0-52号序列），使用者可通过特征字典直接提取时空对齐的多模态数据流。

背景与挑战

背景概述

在机器人操作领域，双手机器人系统的精细化控制始终是研究热点。R1_Lite_take_and_put_away_garden_stuff数据集由RoboCOIN团队于2025年构建，依托LeRobot框架扩展格式开发，聚焦家庭环境中双手机器人的物体抓取与放置任务。该数据集通过53个任务片段、13.5万帧多视角视频数据，系统记录了双指夹爪在模拟家居场景中的操作轨迹，其丰富的末端执行器运动学标注与抓取状态时序数据，为双手机器人协同操作算法的训练与验证提供了重要支撑。

当前挑战

该数据集致力于解决双手机器人在非结构化环境中的物体操作难题，具体挑战包括多模态感知信息的时空对齐、双臂运动轨迹的协同规划、以及抓取力度与放置精度的动态控制。在构建过程中，研究团队需克服多摄像头数据同步采集的技术障碍，确保三路高清视频流与机器人状态数据的毫秒级对齐；同时面临动作标注的语义粒度划分困境，需在11类子任务中精确界定抓取、放置等原子操作的边界，并保持末端执行器六维位姿数据在仿真环境与现实物理空间的一致性。

常用场景

经典使用场景

在家庭服务机器人研究领域，该数据集为双指夹爪机器人的操作技能学习提供了标准化基准。通过包含抓取、拾取、放置等基础动作序列，研究人员能够系统性地训练机器人完成花园物品收纳任务。多视角视觉数据与精细的动作标注相结合，为模仿学习与强化学习算法提供了丰富的训练样本，有效支撑了机器人复杂操作策略的构建与验证。

解决学术问题

该数据集主要解决了机器人操作任务中的动作分割与状态表征难题。通过提供细粒度的子任务标注和末端执行器运动参数，研究者能够深入分析多步骤操作任务的时序依赖关系。丰富的运动学特征与抓取状态标注为机器人动作规划算法的可解释性研究提供了数据基础，显著推进了机器人操作技能的可泛化性研究进程。

实际应用

在智能家居场景中，该数据集支撑的服务机器人可实现自动化物品管理功能。基于数据驱动的控制策略使机器人能够准确识别花园工具的空间位置，并执行精确的抓取与放置操作。这种能力可延伸至日常家居物品整理、仓储物流分拣等实际场景，为提升家庭与工业环境中的自动化水平提供了技术实现路径。

数据集最近研究

最新研究方向

在家庭服务机器人领域，R1_Lite_take_and_put_away_garden_stuff数据集正推动双手机器人操作的前沿探索。该数据集聚焦于花园物品的拾取与放置任务，通过多视角视觉观测和精细的末端执行器运动标注，为模仿学习与强化学习算法提供了丰富训练资源。当前研究热点集中于利用其细粒度子任务分割和运动动力学特征，开发能够适应复杂家庭环境的通用操作策略。随着RoboCOIN项目与LeRobot框架的深度整合，该数据集正成为推动机器人开放数据生态发展的关键力量，为具身智能在真实场景中的泛化能力奠定坚实基础。