R1_Lite_tableware_arrangement

R1_Lite_tableware_arrangement数据集是基于LeRobot格式的扩展格式，与LeRobot完全兼容。该数据集涵盖了家庭场景，并包含了抓取、拾取、放置等原子动作。数据集统计信息显示，共有8个剧集、16015帧、1个任务、24个视频、1个数据块，数据块大小为1000，帧率为30，数据集大小为628.5MB。数据集包括丰富的注释，以支持多种学习方法，包括子任务分割、场景描述、末端执行器方向、速度、加速度等。数据集还提供了抓取器模式、抓取器活动状态等注释。此外，数据集还包含了末端执行器模拟姿态和抓取器开启尺度等额外特征。数据集被组织成训练集和测试集，其中训练集包含剧集0到7。

原始信息汇总

R1_Lite_tableware_arrangement 数据集概述

📋 基本信息

• 数据集名称: R1_Lite_tableware_arrangement
• 机器人类型: R1_Lite
• 代码库版本: v2.1
• 末端执行器类型: two_finger_gripper
• 许可证: apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学

🏠 场景类型

• home

🤖 原子动作

• grasp
• pick
• place

📊 数据集统计

指标	数值
总情节数	8
总帧数	16015
总任务数	1
总视频数	24
总分块数	1
分块大小	1000
帧率	30
数据集大小	628.5MB

🎯 任务描述

主要任务

将筷子、勺子、碗放入餐盒和盘子中

子任务

1. abnormal
2. null
3. Pick the bowl and place it on the plate
4. Pick the chopsticks and place it on the plate
5. Pick the spoon and place it in the bowl
6. Put the bowl back from the plate
7. Put the chopsticks back from the plate
8. Put the spoon back from the bowl

🎥 相机视角

包含3个相机视角

🏷️ 可用标注

子任务标注

• 子任务分割: 细粒度的子任务分割和标注

场景标注

• 场景级描述: 语义场景分类和描述

末端执行器标注

• 方向: 机器人末端执行器运动方向分类
• 速度: 操作过程中的速度幅度分类
• 加速度: 运动分析的加速度幅度分类

夹爪标注

• 夹爪模式: 夹爪开/关状态标注
• 夹爪活动: 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真姿态: 仿真空间中末端执行器的6D姿态信息（状态和动作均可用）
• 夹爪开度尺度: 连续的夹爪开度测量（状态和动作均可用）

📂 数据划分

• 训练集: 情节0:7

📁 数据集结构

文件组织

• 数据文件路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• observation.images.cam_high_rgb: 视频 (720×1280×3, 30fps, av1编码)
• observation.images.cam_left_wrist_rgb: 视频 (720×1280×3, 30fps, av1编码)
• observation.images.cam_right_wrist_rgb: 视频 (720×1280×3, 30fps, av1编码)

状态和动作

• observation.state: float32 (14维)
• action: float32 (14维)

时间信息

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

标注

• subtask_annotation: int32
• scene_annotation: int32

🔗 相关链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 项目页面: https://flagopen.github.io/RoboCOIN/
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

👥 贡献者

• RoboCOIN - RoboCOIN团队

📚 引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，R1_Lite_tableware_arrangement数据集采用基于LeRobot框架的扩展格式构建，确保了与现有机器人学习生态系统的兼容性。该数据集通过R1_Lite型双指夹爪机器人采集，涵盖家庭环境中的餐具整理任务，包含8个完整操作序列和16015帧数据。数据以分块形式组织，每个数据块包含1000个片段，通过多视角视频（高视角、左右腕部视角）和状态-动作对记录机器人执行抓取、拾取、放置等原子操作的过程，所有视觉数据以AV1编码存储，帧率为30fps。

使用方法

研究者可通过LeRobot标准接口加载该数据集，数据文件采用Parquet列式存储格式，路径遵循`data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet`的命名规范。使用时应首先解析元数据文件获取任务结构，随后按训练划分加载0-7号操作序列。数据集支持端到端的机器人策略学习，用户可同时利用视觉观察、关节状态与动作指令进行模型训练。对于细粒度分析，可调用专门的注解文件研究子任务分割、末端执行器运动模式等特定维度，视频数据则可通过对应的MP4文件路径进行可视化验证。

背景与挑战

背景概述

在家庭服务机器人技术蓬勃发展的背景下，R1_Lite_tableware_arrangement数据集应运而生，由RoboCOIN团队于2025年11月主导构建。该数据集聚焦于双手机器人餐具整理任务，旨在解决家庭环境中精细物品操作的复杂性问题。通过集成多视角视觉观测与丰富的动作标注，该数据集为机器人模仿学习与操作策略研究提供了关键支撑，显著推动了家庭场景下机器人自主化水平的发展。

当前挑战

该数据集致力于攻克餐具整理任务中多物体协同操作的难题，包括抓取姿态优化、避碰规划及动态环境适应性等核心问题。在构建过程中，面临数据同步精度不足、多传感器标定误差以及动作标注一致性等挑战，需通过高精度时间戳对齐与多模态数据融合技术加以解决。

常用场景

经典使用场景

在家庭服务机器人研究领域，R1_Lite_tableware_arrangement数据集为餐具整理任务提供了标准化的测试平台。该数据集通过双指夹爪机器人对碗筷、勺子等餐具进行抓取、放置等基础操作，完整记录了多视角视觉观测与机械臂运动轨迹。研究者可利用其丰富的动作序列数据，开发基于模仿学习或强化学习的餐具分类整理算法，为家庭环境下的精细物品操作建立基准范式。

解决学术问题

该数据集有效解决了机器人精细操作中的多项关键问题，包括多物体协同抓取的轨迹规划、餐具形变物体的稳定操控策略、以及家庭场景下的动态环境适应性。通过提供精确的末端执行器位姿标注和夹爪状态数据，为研究双手机器人协同作业的力学特性与运动优化提供了量化依据，显著推进了机器人操作技能从实验室向实际应用场景的迁移进程。

实际应用

在智能家居系统中，该数据集支撑的算法可直接应用于自动化厨房助手开发。通过模拟真实餐具整理流程，训练出的模型能指导机器人完成餐后碗碟归位、餐具分类收纳等日常任务。其多摄像头视角设计特别适用于解决实际环境中视觉遮挡问题，为养老助残等场景提供可靠的自动化服务方案，降低人力照护负担。

数据集最近研究

最新研究方向

在家庭服务机器人领域，餐具整理任务正成为人机协作研究的热点。R1_Lite_tableware_arrangement数据集通过多视角视频流与精细的机械臂运动标注，为模仿学习与强化学习算法提供了真实场景下的训练基础。当前研究聚焦于双机械臂协同操作的时空建模，利用末端执行器的位姿、速度等多模态数据提升抓取放置动作的泛化能力。该数据集与RoboCOIN开源生态的深度整合，进一步推动了具身智能在复杂家居环境中的落地应用，为机器人精细操作技能的可迁移性研究提供了关键支撑。