R1_Lite_take_and_put_the_bowl

R1_Lite_take_and_put_the_bowl 数据集是基于 LeRobot 格式扩展的，与 LeRobot 完全兼容。该数据集使用 R1_Lite 机器人，代码库版本为 v2.1，末端执行器类型为 two_finger_gripper。数据集涵盖了家庭场景，包括抓取、捡起和放置等原子动作。数据集包含 94 个剧集、189200 帧、1 个任务、282 个视频、1 个数据块，大小为 7.0GB。数据集提供了丰富的注释，包括子任务分割、场景描述、末端执行器运动方向、速度、加速度、抓取器状态和活动状态等。此外，数据集还提供了末端执行器在模拟空间中的 6D 位姿信息和抓取器开口度测量数据。

原始信息汇总

R1_Lite_take_and_put_the_bowl 数据集概述

基本信息

• 数据集名称: R1_Lite_take_and_put_the_bowl
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 数据范围: 100K-1M

技术规格

• 机器人类型: R1_Lite
• 代码库版本: v2.1
• 末端执行器类型: two_finger_gripper
• 帧率: 30 FPS
• 数据集大小: 7.0GB

场景与动作

• 场景类型: home
• 原子动作: grasp, pick, place

数据统计

指标	数值
总片段数	94
总帧数	189200
总任务数	1
总视频数	282
总分块数	1
分块大小	1000

任务描述

• 主要任务: put bowls plates in cabinet then take out to table close
• 子任务:
  1. Close the cabinet door
  2. null
  3. Pick up the bowl from the table
  4. Pick up the plate from the table
  5. Place it on the table
  6. Put it back into the cabinet
  7. Take the bowl from the cabinet
  8. Take the plate from the cabinet

数据特征

视觉观测

• observation.images.cam_high_rgb: 视频，720×1280×3，AV1编码
• observation.images.cam_left_wrist_rgb: 视频，720×1280×3，AV1编码
• observation.images.cam_right_wrist_rgb: 视频，720×1280×3，AV1编码

状态与动作

• observation.state: float32，14维关节状态
• action: float32，14维动作指令

注释信息

• 子任务注释: 细粒度子任务分割和标注
• 场景注释: 语义场景分类和描述
• 末端执行器注释: 方向、速度、加速度分类
• 夹爪注释: 模式、活动状态、开合尺度

数据划分

• 训练集: 片段0-93

文件结构

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

作者信息

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据集构建领域，R1_Lite_take_and_put_the_bowl数据集采用基于LeRobot框架的扩展格式进行系统性构建。该数据集通过R1_Lite型双指夹爪机器人在家庭场景中执行餐具收纳任务，采集了94个完整操作序列，总计189,200帧视觉与运动数据。数据以分块形式组织，每个数据块包含1000个片段，采用Parquet格式存储多模态信息，涵盖机器人状态、动作指令及丰富的语义标注。

特点

该数据集在机器人操作学习领域展现出显著的多模态特性，集成三路高清摄像头视角（高位、左右腕部）的视觉数据，帧率达30fps。其标注体系尤为完备，包含精细化的子任务分割、场景语义分类以及末端执行器的运动学参数（方向、速度、加速度）。独特的双机械臂控制数据提供完整的6D位姿信息，夹爪开合尺度与活动状态的全周期记录为模仿学习研究提供了高精度监督信号。

使用方法

研究者可通过LeRobot兼容接口直接加载该数据集，数据文件按chunk-episode两级目录结构组织。训练集涵盖0-93号完整操作序列，每个episode包含同步的多视角视频流、14维关节状态/动作向量及时间戳信息。利用预定义的特征模式可提取末端执行器仿真位姿、夹爪控制参数等关键运动学特征，支持行为克隆、强化学习等算法验证。数据集的标准化格式确保与主流机器人学习框架的无缝对接。

背景与挑战

背景概述

在机器人操作研究领域，双手机器人协同作业一直是实现复杂任务的关键技术。R1_Lite_take_and_put_the_bowl数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，专注于家庭环境中的餐具收纳任务。该数据集基于LeRobot框架构建，通过R1_Lite型机器人采集了94个任务片段，涵盖抓取、拾取、放置等原子动作，为研究双臂协调控制与精细操作提供了真实场景下的多模态数据支撑。其丰富的末端执行器运动轨迹与抓取器状态标注，显著推进了家庭服务机器人的行为模仿学习研究。

当前挑战

该数据集致力于解决家庭环境中机器人精细操作任务的泛化性问题，其核心挑战在于双臂协同动作的时空一致性建模与多视角感知融合。构建过程中面临数据采集复杂度的挑战，需同步记录三路高清视频流与14维关节状态数据，并保证189,200帧动作序列的精确时间对齐。此外，餐具抓取姿态的多样性要求对抓取器开合尺度与末端执行器六维位姿进行毫米级标注，这对传感器校准与数据清洗流程提出了极高要求。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录R1_Lite双指夹爪机器人执行餐具收纳任务的全流程，为模仿学习算法提供了标准化的训练范例。其多视角视频流与精细的动作标注共同构建了完整的示教轨迹，使研究者能够基于真实物理交互数据开发抓取策略生成模型。数据集涵盖的抓取、拾取、放置等原子动作序列，为分析连续操作任务中的状态转移规律提供了结构化观测基础。

实际应用

在家庭服务机器人开发中，该数据集支撑了餐具自动整理系统的算法迭代。基于真实厨房场景采集的操作数据，可直接迁移至智能橱柜机器人的控制系统中，通过解构人类收纳碗碟的运动模式提升机器人的环境适应性。其标注的抓取力度参数为精密物品搬运提供了力控参考，而多相机视角的视觉数据则增强了机器人对遮挡场景的推理能力。

衍生相关工作

基于该数据集衍生的研究工作主要集中在分层强化学习框架的构建，其中RoboCOIN团队提出的任务分解方法显著提升了长周期操作的完成率。后续研究通过提取末端执行器的六维姿态特征，发展了基于注意力机制的动作预测模型。在LeRobot生态中，该数据集还催生了多智能体协作抓取的仿真基准，为双臂协调控制算法提供了验证平台。