five

R1_Lite_tableware_cleaning

收藏
Hugging Face2025-11-28 更新2025-11-29 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/R1_Lite_tableware_cleaning
下载链接
链接失效反馈
官方服务:
资源简介:
R1_Lite_tableware_cleaning 数据集基于 LeRobot 扩展格式,与 LeRobot 完全兼容。该数据集用于机器人研究,特别是餐具清洁任务。它包括各种原子动作,如抓取、拾取和放置。数据集具有丰富的子任务、场景、末端执行器和抓手注释,为机器人操作学习提供了全面的训练数据。数据集被组织成训练分割,并遵循 LeRobot 格式,数据被组织成块。README 还提供了有关数据集结构、特征模式和数据目录结构的信息,以及许可和引用信息。
创建时间:
2025-11-19
原始信息汇总

R1_Lite_tableware_cleaning 数据集概述

📋 基本信息

  • 数据集名称: R1_Lite_tableware_cleaning
  • 机器人类型: R1_Lite
  • 代码库版本: v2.1
  • 末端执行器类型: two_finger_gripper
  • 数据格式: 基于LeRobot的扩展格式,完全兼容LeRobot
  • 许可证: apache-2.0
  • 语言: 英语、中文

🎯 任务描述

主要任务

用含有洗涤剂的海绵擦拭餐具,然后将它们放回原处

子任务

包含25个不同的子任务:

  1. Abnormal
  2. End
  3. Grab the dish soap
  4. null
  5. Pick up a bowl and the sponge
  6. Place the bowl on the bowl
  7. Place the bowl on the plate
  8. Place the bowl on the table
  9. Place the chopsticks on the glass basin
  10. Place the dish soap on the table
  11. Place the plate on the plate
  12. Place the plate on the table
  13. Place the spoon in the glass basin
  14. Put down the sponge
  15. Rinse the bowl
  16. Rinse the chopsticks
  17. Rinse the plate
  18. Rinse the spoon
  19. Squeeze it onto the sponge
  20. Turn off the faucet
  21. Turn on the faucet
  22. Wash the bowl
  23. Wash the plate
  24. Wipe the bowl
  25. Wipe the plate

🏠 场景类型

  • home

🤖 原子动作

  • grasp
  • pick
  • place

📊 数据集统计

指标 数值
总情节数 102
总帧数 327254
总任务数 1
总视频数 306
总分块数 1
分块大小 1000
帧率 30
数据集大小 17.6GB

🎥 相机视角

包含3个相机视角

🏷️ 可用标注

子任务标注

  • 子任务分割: 细粒度的子任务分割和标注

场景标注

  • 场景级描述: 语义场景分类和描述

末端执行器标注

  • 方向: 机器人末端执行器的运动方向分类
  • 速度: 操作过程中的速度大小分类
  • 加速度: 运动分析的加速度大小分类

夹爪标注

  • 夹爪模式: 夹爪开/关状态标注
  • 夹爪活动: 活动状态分类(活动/非活动)

附加特征

  • 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息(状态和动作均可用)
  • 夹爪开合尺度: 连续的夹爪开合测量(状态和动作均可用)

📂 数据划分

  • 训练集: 情节0:101

📁 数据集结构

文件组织

  • 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
  • 分块: 数据组织为1个分块,每个分块大小1000

特征架构

视觉观察

  • observation.images.cam_high_rgb: 视频(FPS: 30,编码: av1)
  • observation.images.cam_left_wrist_rgb: 视频(FPS: 30,编码: av1)
  • observation.images.cam_right_wrist_rgb: 视频(FPS: 30,编码: av1)

状态和动作

  • observation.state: float32
  • action: float32

时间信息

  • timestamp: float32
  • frame_index: int64
  • episode_index: int64
  • index: int64
  • task_index: int64

标注

  • subtask_annotation: int32
  • scene_annotation: int32

运动特征

  • eef_sim_pose_state: float32(12维)
  • eef_sim_pose_action: float32(12维)
  • eef_direction_state: int32(2维)
  • eef_direction_action: int32(2维)
  • eef_velocity_state: int32(2维)
  • eef_velocity_action: int32(2维)
  • eef_acc_mag_state: int32(2维)
  • eef_acc_mag_action: int32(2维)

夹爪特征

  • gripper_open_scale_state: float32(2维)
  • gripper_open_scale_action: float32(2维)
  • gripper_mode_state: int32(2维)
  • gripper_mode_action: int32(2维)
  • gripper_activity_state: int32(2维)

👥 作者

  • 贡献者: RoboCOIN - RoboCOIN Team

🔗 相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 项目页面: https://flagopen.github.io/RoboCOIN/
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📚 引用

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

  • v1.0.0 (2025-11): 初始发布
搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作数据采集领域,R1_Lite_tableware_cleaning数据集通过R1_Lite型双指夹爪机器人在家庭场景中系统化采集餐具清洗任务数据。该数据集采用LeRobot扩展格式构建,包含102个完整操作序列,总计327,254帧视觉与运动数据,通过三路高清摄像头以30帧率同步记录腕部与全局视角。数据以分块形式组织为Parquet文件,辅以MP4格式视频流,完整保留了机器人关节状态、末端执行器位姿及夹爪动作等多模态信息。
特点
该数据集的核心价值在于其精细化的动作标注体系与多维运动特征捕捉。除了基础的抓取、拾取、放置等原子动作标注外,还提供了25种细分子任务划分,包括餐具冲洗、海绵操作等完整工作流。运动学层面涵盖末端执行器的六维位姿、速度方向分类及加速度量化,夹爪状态则通过开合尺度与活动模式进行完整刻画。三视角视觉数据与14维关节空间状态的同步采集,为模仿学习与策略泛化研究提供了丰富素材。
使用方法
研究者可通过LeRobot兼容接口直接加载该数据集进行机器人技能学习。数据按episode索引组织,训练集涵盖0-101号操作序列,支持端到端的行为克隆与强化学习训练。视觉观测模块提供720p分辨率的三路RGB视频流,状态空间包含14维关节角度与夹爪开合度,动作空间则对应相同的控制维度。丰富的运动学标注可用于构建分层策略网络,而细粒度子任务标签则支持课程学习与组合技能研究。
背景与挑战
背景概述
在家庭服务机器人技术蓬勃发展的背景下,R1_Lite_tableware_cleaning数据集应运而生。该数据集由RoboCOIN团队于2025年11月发布,聚焦于双手机器人餐具清洗任务,旨在推动机器人灵巧操作与复杂环境交互的研究。数据集采用R1_Lite机器人平台,配备双指夹爪,覆盖抓取、拾取、放置等基础动作,并包含32.7万帧多视角视觉数据与丰富的运动标注信息。其兼容LeRobot框架的设计理念,为机器人模仿学习与策略优化提供了标准化数据基础,显著促进了家庭场景下机器人自主操作能力的发展。
当前挑战
该数据集致力于解决家庭环境中餐具清洗任务的复杂操作难题。具体挑战包括多物体协同操作的时序规划问题,例如同时处理碗盘与清洁工具的动态交互;以及水下操作带来的视觉感知干扰,如水流对物体识别精度的影响。在数据构建过程中,面临双机械臂运动轨迹同步记录的精度控制挑战,需确保14维关节状态数据的时空一致性;同时,多摄像头视角下的数据对齐与标注工作极为繁重,涉及5类子任务分割与12维末端执行器位姿的精确标注,对数据质量控制提出了极高要求。
常用场景
经典使用场景
在家庭服务机器人研究领域,该数据集为餐具清洗任务提供了完整的动作序列记录。通过多视角视频流与精细的动作标注,研究者能够分析抓取、放置、擦拭等基础操作在复杂环境中的执行模式。其丰富的末端执行器运动轨迹与抓握状态数据,为模仿学习算法提供了标准化的训练素材。
解决学术问题
该数据集有效解决了机器人操作任务中动作分割与序列生成的学术难题。通过25种精细标注的子任务,为层级强化学习提供了结构化范本。其包含的六维末端位姿与抓取器状态数据,显著提升了动态操作策略的建模精度,推动了机器人认知与决策机制的理论发展。
衍生相关工作
基于该数据集衍生的研究已拓展至多模态机器人学习领域。RoboCOIN项目团队通过整合LeRobot框架,开发了双臂协同操作的新范式。相关工作进一步推动了动态场景理解、任务分解策略等方向的发展,为开放式操作任务建立了可扩展的基准体系。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作