five

R1_Lite_put_the_tableware_into_the_cupboard

收藏
Hugging Face2025-11-28 更新2025-11-29 收录
下载链接:
https://huggingface.co/datasets/RoboCOIN/R1_Lite_put_the_tableware_into_the_cupboard
下载链接
链接失效反馈
官方服务:
资源简介:
R1_Lite_put_the_tableware_into_the_cupboard数据集是一个基于LeRobot格式的机器人数据集,它完全兼容LeRobot。数据集使用R1_Lite机器人,代码库版本为v2.1,末端执行器类型为两指抓手。数据集涵盖了家庭场景类型,并包括抓取、拾取和放置等原子动作。数据集共包含143个总剧集,367607个总帧数,1个总任务,429个总视频,1个总块,每个块大小为1000,帧率为30,数据集大小为15.5GB。数据集包括丰富的注释,支持多种学习方法,如子任务分割、场景描述、末端执行器运动方向、速度和加速度分类、抓手模式和活动状态等。数据集分为训练集和测试集,并按照LeRobot格式组织数据文件。数据集提供了详细的元信息,包括代码库版本、机器人类型、总剧集数、总帧数、总任务数、总视频数、总块数、块大小、帧率、分割信息、数据路径、视频路径和特征等信息。
创建时间:
2025-11-26
原始信息汇总

R1_Lite_put_the_tableware_into_the_cupboard 数据集概述

📋 数据集基本信息

  • 数据集名称: R1_Lite_put_the_tableware_into_the_cupboard
  • 许可证: apache-2.0
  • 支持语言: 英语、中文
  • 任务类别: 机器人学
  • 标签: RoboCOIN, LeRobot
  • 数据范围: 100K-1M

🤖 机器人配置

  • 机器人类型: R1_Lite
  • 代码库版本: v2.1
  • 末端执行器类型: 二指夹爪

🏠 场景类型

  • 家庭场景

⚡ 原子动作

  • 抓取
  • 拾取
  • 放置

📊 数据集统计

指标 数值
总情节数 143
总帧数 367607
总任务数 1
总视频数 429
总分块数 1
分块大小 1000
帧率 30
数据集大小 15.5GB

🎯 任务描述

主要任务

将餐具放入橱柜然后返回柜台并关闭

子任务

包含28个不同的子任务:

  1. 异常
  2. 关闭橱柜
  3. 结束
  4. 打开橱柜
  5. 拿起碗并放入橱柜
  6. 拿起筷子并放入橱柜
  7. 拿起叉子并放入橱柜
  8. 拿起盘子并放入橱柜
  9. 拿起勺子并放入橱柜
  10. 将筷子放在桌子上
  11. 将筷子放入餐具盒
  12. 将碗放在盘子上
  13. 将碗放在架子上
  14. 将叉子放入餐具盒
  15. 将叉子放在桌子上
  16. 将盘子放在架子上
  17. 将盘子放在桌子上
  18. 将勺子放入餐具盒
  19. 将勺子放在盘子上
  20. 将勺子放在桌子上
  21. 拉开橱柜
  22. 拉开架子
  23. 从橱柜中取出碗
  24. 从橱柜中取出筷子
  25. 从橱柜中取出叉子
  26. 从橱柜中取出盘子
  27. 从橱柜中取出勺子

🎥 相机视图

包含3个相机视图

🏷️ 可用标注

子任务标注

  • 子任务分割: 细粒度的子任务分割和标注

场景标注

  • 场景级描述: 语义场景分类和描述

末端执行器标注

  • 方向: 机器人末端执行器运动方向分类
  • 速度: 操作过程中的速度大小分类
  • 加速度: 运动分析的加速度大小分类

夹爪标注

  • 夹爪模式: 夹爪开/关状态标注
  • 夹爪活动: 活动状态分类

附加特征

  • 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息
  • 夹爪开合尺度: 连续的夹爪开合测量

📂 数据划分

  • 训练集: 情节0:142

📁 数据集结构

数据文件

  • 视频: 包含RGB相机观察的压缩视频文件
  • 状态数据: 机器人关节位置、速度和其他状态信息
  • 动作数据: 机器人动作命令和轨迹
  • 元数据: 情节元数据、时间戳和标注

文件组织

  • 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
  • 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
  • 分块: 数据组织为1个分块,大小为1000

📊 特征架构

视觉观察

  • observation.images.cam_high_rgb: 视频,帧率30,编码av1
  • observation.images.cam_left_wrist_rgb: 视频,帧率30,编码av1
  • observation.images.cam_right_wrist_rgb: 视频,帧率30,编码av1

状态和动作

  • observation.state: float32
  • action: float32

时间信息

  • timestamp: float32
  • frame_index: int64
  • episode_index: int64
  • index: int64
  • task_index: int64

标注

  • subtask_annotation: int32
  • scene_annotation: int32

👥 作者

贡献者

  • RoboCOIN - RoboCOIN团队

🔗 相关链接

  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 代码库: https://github.com/FlagOpen/RoboCOIN
  • 项目页面: https://flagopen.github.io/RoboCOIN/
  • 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

📄 引用

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

📌 版本信息

  • v1.0.0 (2025-11): 初始发布
搜集汇总
数据集介绍
main_image_url
构建方式
在机器人操作数据采集领域,R1_Lite_put_the_tableware_into_the_cupboard数据集通过R1_Lite双指夹爪机器人系统在家庭场景中执行餐具收纳任务构建而成。该数据集采用LeRobot扩展格式,包含143个完整操作序列,总计367,607帧数据,通过三路高清摄像头以30帧率同步采集视觉信息,并结合14维关节状态与动作向量记录机器人运动轨迹。数据以分块方式组织为Parquet文件,辅以MP4格式视频流,确保多模态数据的完整性与兼容性。
使用方法
针对机器人模仿学习与策略训练的应用需求,该数据集支持端到端的模型开发流程。研究者可通过LeRobot框架直接加载Parquet数据文件,利用观察序列中的多视角图像、关节状态与标注信息构建状态表征。动作数据包含14维连续控制指令,支持从行为克隆到强化学习等多种算法验证。数据划分明确训练集范围,用户可依据子任务标注进行分层采样,或结合末端执行器运动特征开发精细化的操作策略。视频流与传感器数据的时序对齐为跨模态学习提供坚实基础。
背景与挑战
背景概述
在机器人操作领域,家庭环境下的精细物体操控一直是研究难点。R1_Lite_put_the_tableware_into_the_cupboard数据集由RoboCOIN团队于2025年11月发布,聚焦于双指夹爪机器人的餐具收纳任务。该数据集基于LeRobot框架构建,包含143个任务片段和36万帧多视角视频数据,通过28项精细子任务系统记录了餐具抓取、放置及橱柜操作等完整工作流,为具身智能研究提供了真实家庭场景下的双臂协同操作基准。
当前挑战
该数据集致力于解决家庭服务机器人对异形餐具的精细抓取与稳定放置难题,其核心挑战在于多物体交互时的动态避障与姿态优化。构建过程中面临数据同步复杂性,需协调三路摄像头与14维关节状态数据;标注工程涉及5类子任务分割与12维末端执行器位姿标注,对运动轨迹的时空一致性提出极高要求。此外,模拟环境到真实世界的域适应问题,以及双机械臂协同控制的动作映射关系,均为模型泛化带来显著挑战。
常用场景
经典使用场景
在家庭服务机器人研究领域,该数据集聚焦于餐具收纳任务,通过双指夹爪机器人执行抓取、放置等基础操作。其367,607帧多视角视频数据与精细的动作标注,为模仿学习算法提供了丰富的训练素材。研究者能够利用这些数据训练机器人完成从桌面拾取餐具到橱柜归位的完整流程,涵盖28种细分任务场景。
解决学术问题
该数据集有效解决了机器人操作中的动作分割与序列规划难题。通过标注末端执行器的位姿、速度、加速度等运动特征,为研究连续动作的时序依赖性提供了数据支撑。其精细的夹爪状态标注有助于探索抓握力控制策略,而多摄像机视角则解决了视觉-动作对应关系建模的挑战,推动具身智能在复杂环境中的适应性研究。
实际应用
在智能家居场景中,该数据集支撑的算法可应用于自动化厨房管理系统。通过训练机器人完成餐具分类收纳任务,能够减轻日常家务负担,特别适用于老年照护与行动不便人群。其记录的橱柜开合、餐具定位等操作流程,为开发具备环境交互能力的服务机器人提供了实际验证基础。
数据集最近研究
最新研究方向
在家庭服务机器人领域,R1_Lite餐具收纳数据集正推动双手机器人操作的前沿探索。该数据集通过精细标注的28项子任务和六维末端执行器姿态数据,为模仿学习与强化学习算法提供了真实世界的训练基础。随着家庭自动化需求增长,研究者正利用其多视角视频流与运动轨迹数据,开发能够适应动态家居环境的灵巧操作策略。该资源显著降低了机器人技能迁移的门槛,为具身智能在复杂场景中的泛化能力研究树立了新标杆。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作