R1_Lite_wash_the_tableware

R1_Lite_wash_the_tableware数据集是一个基于LeRobot的扩展格式的机器人操作数据集，用于家庭场景中的餐具清洗任务。数据集包含了137个剧集，197672帧，411个视频，以及丰富的注释信息。数据集适用于机器人操作的学习和研究。

The R1_Lite_wash_the_tableware dataset is an extended-format robotic manipulation dataset based on LeRobot, designed for tableware washing tasks in household scenarios. It contains 137 episodes, 197,672 frames, 411 videos, and rich annotation information. This dataset is suitable for robotic manipulation learning and research.

原始信息汇总

R1_Lite_wash_the_tableware 数据集概述

基本信息

• 数据集名称: R1_Lite_wash_the_tableware
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 数据规模: 100K-1M帧范围

技术规格

• 机器人类型: R1_Lite
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪
• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置

数据集统计

指标	数值
总情节数	137
总帧数	197,672
总任务数	1
总视频数	411
总分块数	1
分块大小	1000
帧率	30 FPS
数据集大小	7.3GB

任务描述

主要任务

打开水龙头将餐具放入水槽冲洗后放回

子任务

包含41个不同的子任务：

1. 异常
2. 用右夹爪关闭分配器阀门
3. 结束
4. 用右夹爪抓取筷子
5. 用右夹爪抓取粉色碗
6. 用右夹爪抓取黄色碗
7. 空值
8. 用右夹爪打开分配器阀门
9. 拿起碗
10. 拿起筷子
11. 拿起盘子
12. 拿起勺子
13. 用右夹爪将筷子放入水槽
14. 用右夹爪将筷子放在碗上
15. 用右夹爪将粉色碗放入水槽
16. 用右夹爪将粉色碗放在桌子上
17. 将碗放在桌子上
18. 将筷子放在碗上
19. 将筷子放在桌子上
20. 将盘子放在桌子上
21. 将勺子放在碗上
22. 将勺子放在盘子上
23. 用右夹爪将黄色碗放入水槽
24. 用右夹爪将黄色碗放在桌子上
25. 用右夹爪将粉色碗中的水倒入水槽
26. 用右夹爪将黄色碗中的水倒入水槽
27. 将碗放入水槽
28. 将碗从水槽放回桌子
29. 将盘子从水槽放回桌子
30. 将盘子放入水槽
31. 将勺子从水槽放回桌子
32. 将勺子放入水槽
33. 将筷子从水槽放回桌子
34. 将筷子放入水槽
35. 冲洗碗
36. 冲洗筷子
37. 冲洗盘子
38. 冲洗勺子
39. 关闭水龙头
40. 打开水龙头
41. 等待水冲洗碗

数据特征

视觉观测

• observation.images.cam_high_rgb: 视频，30 FPS，AV1编码
• observation.images.cam_left_wrist_rgb: 视频，30 FPS，AV1编码
• observation.images.cam_right_wrist_rgb: 视频，30 FPS，AV1编码

状态与动作

• observation.state: float32，14维
• action: float32，14维

时间信息

• timestamp, frame_index, episode_index, index, task_index

注释信息

• subtask_annotation, scene_annotation

运动特征

• 末端执行器模拟位姿（状态和动作）
• 末端执行器方向、速度、加速度分类
• 夹爪开合尺度、模式、活动状态

数据组织

文件结构

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据分割

• 训练集: 情节0-136

作者信息

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，R1_Lite_wash_the_tableware数据集采用基于LeRobot框架的扩展格式构建，确保了与现有机器人学习生态系统的完全兼容性。该数据集通过R1_Lite型双指夹爪机器人在家庭场景中执行餐具清洗任务，系统采集了137个完整操作序列，涵盖197,672帧视觉与运动数据。数据以分块形式组织，每个数据块包含1,000个片段，通过多视角RGB视频（分辨率1280×720，帧率30fps）同步记录机器人状态、动作轨迹及丰富的语义标注信息，形成总容量7.3GB的结构化数据集。

特点

该数据集的核心价值体现在其精细化的动作分解体系，将餐具清洗流程解构为41种原子操作，包括抓取碗碟、开关水龙头、冲洗餐具等典型子任务。数据特征层面集成了三路高清摄像机视角（高位视角、左右腕部视角），配合14维关节状态空间与动作空间数据，以及末端执行器的6D位姿、速度加速度分类、夹爪开合状态等多模态运动特征。特别值得注意的是其完备的标注体系，不仅包含细粒度的子任务分割标注，还提供了场景语义分类、末端执行器运动学参数等机器人学习关键要素，为模仿学习与强化学习算法开发提供了坚实基础。

使用方法

研究者可通过标准化数据加载流程直接调用该数据集，其文件结构严格遵循LeRobot范式，训练集涵盖0-136号完整操作序列。数据以Parquet格式存储于指定路径模式，配合MP4格式的多视角视频流，支持端到端的机器人策略训练 pipeline。典型应用场景包括：基于视觉观察与状态动作对的模仿学习模型训练、利用细粒度标注的子任务分割研究、多模态传感器融合策略开发等。通过加载预定义的特征模式（如observation.images系列视频流、observation.state状态向量、action动作指令），用户可快速构建适用于双机械臂操作的机器学习模型，推动家庭服务机器人技术发展。

背景与挑战

背景概述

在机器人操作领域，家庭环境下的复杂任务执行一直是研究热点。R1_Lite_wash_the_tableware数据集由RoboCOIN团队于2025年11月发布，聚焦于双指夹爪机器人在家庭场景中的餐具清洗任务。该数据集基于LeRobot框架构建，包含137个任务片段、19.7万帧数据，通过多视角视频和精细的动作标注，为机器人模仿学习与行为规划研究提供了重要支撑。其核心研究目标在于解决家庭服务机器人对非结构化环境中多步骤操作任务的泛化能力问题，通过41项子任务的系统划分，推动了机器人精细操作与任务分解方法的发展。

当前挑战

该数据集致力于解决家庭场景中餐具清洗这一复杂操作任务的挑战，包括对多样化餐具的抓取姿态适应、水流环境下的动态交互控制，以及多步骤任务的长时序规划难题。在构建过程中，研究者需要克服双机械臂协同运动的轨迹同步问题，确保多视角视频数据与机械臂状态信息的精确对齐。同时，面对家庭环境中光照变化与物体位置随机性带来的数据采集噪声，需通过精细的标注体系对41项子任务进行语义分割，并保持7.3GB大规模数据中运动特征与视觉观测的一致性。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录R1_Lite双指夹爪机器人清洗餐具的完整流程，为模仿学习与行为克隆算法提供标准化训练范本。其多视角视觉数据与精细动作标注能够有效支撑机器人对抓取、放置、冲洗等基础操作的轨迹学习，成为家庭服务机器人技能训练的核心资源。

解决学术问题

该数据集通过结构化标注体系解决了机器人操作中的动作分割与语义理解难题。其包含的末端执行器位姿、速度、加速度等多模态数据，为研究机器人精细操作的运动规划、多任务序列学习提供了量化分析基础，显著推进了具身智能在复杂场景下的适应性研究。

衍生相关工作

该数据集作为RoboCOIN项目的重要组成部分，已衍生出多模态操作策略生成、跨场景技能迁移等系列研究。其与LeRobot框架的深度兼容性催生了基于Transformer的行为预测模型，并为开源机器人社区提供了双手机器人操作研究的基准测试平台。