R1_Lite_open_and_close_nightstand_door

R1_Lite_open_and_close_nightstand_door数据集是基于LeRobot框架的扩展格式构建的，与LeRobot完全兼容。数据集使用R1_Lite机器人，代码库版本为v2.1，末端执行器类型为双指夹爪。数据集涵盖了家庭场景，包括抓取、拾取、放置和推等原子动作。数据集包含100个场景，共274445帧，1个任务，300个视频和1个数据块。数据集大小为11.8GB，支持多种学习方法和研究。

The R1_Lite_open_and_close_nightstand_door dataset is built upon an extended format of the LeRobot framework and is fully compatible with LeRobot. It employs the R1_Lite robot, with a codebase version of v2.1 and a two-finger gripper as its end-effector. The dataset covers household scenarios, including atomic manipulation actions such as grasping, picking, placing, and pushing. It comprises 100 scenarios, a total of 274,445 frames, 1 task, 300 videos, and 1 data chunk. The dataset has a total size of 11.8 GB and supports a variety of learning methods and related research.

原始信息汇总

R1_Lite_open_and_close_nightstand_door 数据集概述

基本信息

• 数据集名称: R1_Lite_open_and_close_nightstand_door
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 框架范围: 100K-1M

技术规格

• 机器人类型: R1_Lite
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪
• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置、推动

数据集统计

指标	数值
总情节数	100
总帧数	274,445
总任务数	1
总视频数	300
总分块数	1
分块大小	1000
帧率	30 FPS
数据集大小	11.8GB

任务描述

主要任务

将物品放在床头柜的上下层并关门

子任务

包含17个具体子任务：

1. 异常状态
2. 关闭床头柜门
3. 结束
4. 空状态
5. 打开床头柜门 6-17. 将不同物品（包、篮子、蓝色玩偶、绿色玩偶、粉色玩偶、枕头）放置在上下层架子上

数据采集

• 相机视角: 3个（高位RGB、左手腕RGB、右手腕RGB）
• 视频规格: 720×1280分辨率，AV1编码，30FPS

注释信息

子任务注释

• 细粒度子任务分割和标注

场景注释

• 语义场景分类和描述

末端执行器注释

• 运动方向分类
• 速度大小分类
• 加速度大小分类

夹爪注释

• 开/关状态标注
• 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真姿态（6D姿态信息）
• 夹爪开合尺度（连续测量值）

数据结构

数据划分

• 训练集: 情节0-99

文件组织

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征架构

视觉观测

• 三个相机视角的RGB视频数据

状态与动作

• 观察状态：14维浮点数（关节角度和夹爪状态）
• 动作：14维浮点数（关节角度和夹爪控制）

时间信息

• 时间戳、帧索引、情节索引等

运动特征

• 末端执行器仿真姿态（位置和方向）
• 运动方向、速度、加速度分类

夹爪特征

• 开合尺度、工作模式、活动状态

相关资源

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

作者信息

• 贡献者: RoboCOIN团队 (https://flagopen.github.io/RoboCOIN/)

引用格式

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，R1_Lite_open_and_close_nightstand_door数据集通过R1_Lite双指抓取器在家庭场景中执行床头柜开关门任务构建而成。该数据集采用LeRobot扩展格式，包含100个完整交互片段，总计274,445帧数据，以30帧率记录三视角视觉观测。数据以分块形式组织，每个数据块存储为Parquet格式，同时配备AV1编码的RGB视频流，确保数据高效存储与读取。

特点

该数据集在机器人操作任务中展现出多模态特性，融合了视觉观测、关节状态与动作轨迹。其标注体系涵盖精细的子任务分割、末端执行器运动学参数及抓取器状态分类，包括方向、速度、加速度等动态特征。数据集提供12维末端执行器模拟位姿和连续抓取器开合尺度，支持对双臂协同操作的深入研究。丰富的语义标注为复杂操作策略的学习提供了结构化基础。

使用方法

研究者可通过LeRobot框架直接加载该数据集，利用其标准化的状态-动作对进行模仿学习或强化学习算法训练。数据按训练集划分，涵盖0至99号交互片段，支持从多视角视频流中提取视觉特征，并结合关节角度、末端位姿等状态信息构建策略模型。用户可依据子任务标注进行分层学习，或利用运动学特征分析操作轨迹的动力学特性。

背景与挑战

背景概述

机器人操作数据集R1_Lite_open_and_close_nightstand_door由RoboCOIN团队于2025年11月发布，作为双手机器人操作研究的重要资源。该数据集聚焦家庭环境下的精细化操作任务，通过R1_Lite机器人平台记录夜间开关门及物品摆放等复合动作。其核心研究问题在于解决复杂场景下双手机器人的协同控制与任务分解，为模仿学习与强化学习算法提供了包含27万帧多视角视频与丰富运动标注的真实数据。该数据集基于LeRobot框架构建，通过标准化数据格式推动了机器人操作研究的可复现性与跨平台比较。

当前挑战

该数据集致力于解决家庭环境中双手机器人精细化操作的三大挑战：多物体抓取放置的空间规划复杂性、开关门动作所需的力控制精确性、以及长期任务中动作序列的时序依赖性。在构建过程中面临数据同步难题，需协调三路摄像头与14维关节状态数据的时序对齐；同时遭遇标注瓶颈，对17种子任务进行细粒度分割需要大量人工校验。此外，11.8GB大规模视频数据的压缩存储与快速检索亦构成工程技术挑战，这些困难通过分块存储与AV1编码方案得以缓解。

常用场景

经典使用场景

在家庭服务机器人研究领域，该数据集聚焦于夜间床头柜门的开闭操作任务，通过双指夹爪执行精细的抓取、放置等原子动作。其经典应用体现在为模仿学习算法提供多视角视觉观测与完整状态动作轨迹，使机器人能够学习在家庭环境中完成物品分层摆放与柜门控制的复合任务。

衍生相关工作

基于该数据集衍生的研究多集中于多模态模仿学习框架的优化，例如结合LeRobot生态的强化学习算法改进。相关工作通过利用数据集提供的丰富运动注解，开发出更高效的双手操作策略生成模型，并推动了机器人操作数据标准化格式的学术讨论与实践应用。

数据集最近研究

最新研究方向

在家庭服务机器人领域，R1_Lite_open_and_close_nightstand_door数据集正推动双手机器人操作的前沿探索。其丰富的多视角视觉数据与精细的末端执行器运动标注，为模仿学习与强化学习算法提供了高保真训练基础。当前研究聚焦于跨场景泛化能力，通过17种子任务的语义分割与物理交互数据，探索机器人对未知家居环境的自适应操作策略。该数据集与RoboCOIN项目的深度整合，进一步加速了开放词汇操作与多模态指令跟随等热点方向的发展，为具身智能在真实世界中的部署奠定了数据基石。