R1_Lite_open_and_close_nightstand_drawer

R1_Lite_open_and_close_nightstand_drawer是一个用于机器人操作的数据集，基于LeRobot和R1_Lite机器人，包含多种原子动作，如抓取、拾取、放置和推动。数据集覆盖家庭场景，并包括丰富的标注信息，如子任务分割、场景描述、运动特征和夹爪特征。数据集分为训练集和测试集，并提供详细的元信息和目录结构。

原始信息汇总

R1_Lite_open_and_close_nightstand_drawer 数据集概述

基本信息

• 数据集名称: R1_Lite_open_and_close_nightstand_drawer
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 帧数范围: 100K-1M

技术规格

• 机器人类型: R1_Lite
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、拾取、放置、推动

数据集统计

指标	数值
总情节数	77
总帧数	104,258
总任务数	1
总视频数	231
总分块数	1
分块大小	1000
帧率	30 FPS
数据集大小	7.1GB

任务描述

主要任务

将遥控器和纸巾放入抽屉，然后取出并关闭抽屉

子任务

1. 关闭床头柜抽屉
2. 打开床头柜抽屉
3. 将桌上的遥控器逐个放入抽屉
4. 将桌上的纸巾逐个放入抽屉
5. 将遥控器从抽屉中逐个取出并放在桌上
6. 将纸巾从抽屉中逐个取出并放在桌上

数据采集

• 相机视角: 3个
• 视觉观测:
  • 高位相机RGB视频 (720×1280, AV1编码)
  • 左手腕相机RGB视频 (720×1280, AV1编码)
  • 右手腕相机RGB视频 (720×1280, AV1编码)

标注信息

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

夹爪标注

• 开/关状态标注
• 活动状态分类（活动/非活动）

数据特征

状态和动作

• 观测状态: 14维浮点数（关节位置、夹爪开度）
• 动作: 14维浮点数（关节控制、夹爪控制）

运动特征

• 末端执行器仿真位姿: 12维浮点数（位置和方向）
• 末端执行器方向: 2维整数
• 末端执行器速度: 2维整数
• 末端执行器加速度: 2维整数

夹爪特征

• 夹爪开度比例: 2维浮点数
• 夹爪模式: 2维整数
• 夹爪活动状态: 2维整数

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按相机视角组织
• 元数据: JSON格式的配置和统计信息

数据划分

• 训练集: 情节0-76

相关资源

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

技术兼容性

• 基于LeRobot格式扩展
• 完全兼容LeRobot框架

引用信息

如需在研究中使用此数据集，请引用相关论文和LeRobot框架。

搜集汇总

数据集介绍

构建方式

在机器人操作数据集构建领域，R1_Lite_open_and_close_nightstand_drawer采用基于LeRobot框架的扩展格式进行系统化采集。该数据集通过R1_Lite型双臂机器人搭载双指夹爪，在家庭场景中执行夜间开关抽屉的复合任务，共收录77个完整操作序列，涵盖104,258帧视觉与运动数据。数据以分块存储结构组织，每个数据块包含1000帧标准化记录，通过三路高清摄像头以30帧/秒的采样率同步采集腕部与全局视角的RGB视频流，并整合14维关节状态与动作向量，形成统一时空对齐的多模态数据流。

特点

该数据集在机器人操作学习领域展现出多维度的技术特征。其核心价值在于精细标注的层次化结构，不仅提供基础的动作指令与状态观测，更包含末端执行器的6D位姿、运动方向、速度加速度分级等动力学特征。独特的夹爪开合尺度与活动状态标注为抓取策略研究提供关键参数，而七类子任务的语义分割使复杂操作的阶段性学习成为可能。三视角视觉数据与高精度运动轨迹的耦合，为模仿学习与强化学习算法提供了丰富的监督信号，特别在双手协调操作场景中具有显著优势。

使用方法

针对机器人操作算法的开发需求，该数据集支持端到端的训练流程。研究者可通过LeRobot兼容接口直接加载标准化数据，利用parquet格式存储的状态-动作对进行策略网络训练。多路视频流可作为视觉编码器的输入，而丰富的运动注解适用于行为克隆算法的监督学习。数据集内置的77个训练片段支持 episodic 学习范式，研究者可依据子任务标注实现分层强化学习，或利用末端执行器位姿信息进行运动规划算法的验证。通过整合时空对齐的多模态特征，该数据集为双臂协调操作、长时序任务分解等前沿研究方向提供完整基准。

背景与挑战

背景概述

在机器人操作领域，双手机器人执行精细家居任务成为研究热点。R1_Lite_open_and_close_nightstand_drawer数据集由RoboCOIN团队于2025年11月发布，基于LeRobot框架构建，聚焦夜间开关抽屉这一典型家居场景。该数据集通过R1_Lite型双指夹爪机器人采集了7.1GB多模态数据，涵盖抓取、放置等基础动作序列，其核心在于解决双手机器人在非结构化环境中协调操作的泛化能力问题，为模仿学习与强化学习算法提供了高质量基准。

当前挑战

该数据集致力于攻克双手机器人操作中的动作时序协调与环境适应性难题。构建过程中面临多视角数据同步的技术瓶颈，需确保三路摄像头与机械臂状态数据的毫秒级对齐。同时，家居场景中抽屉开合的力学反馈存在非线性特征，导致夹爪控制策略易受滑动摩擦干扰。此外，长达10万帧的连续操作序列对运动轨迹分割精度提出严格要求，需通过精细的末端执行器位姿标注来区分七项子任务的过渡边界。

常用场景

经典使用场景

在家庭服务机器人研究领域，该数据集聚焦于夜间床头柜抽屉的开关操作任务。通过记录双指夹爪机器人执行物品收纳与取出的完整流程，为机器人精细操作研究提供了标准化测试平台。其多视角视觉数据与运动轨迹的同步采集，使得研究人员能够深入分析机械臂在受限空间内的运动规划策略。

解决学术问题

该数据集有效解决了机器人操作学习中长期存在的样本效率低下问题。通过提供包含104,258帧的高质量演示数据，显著降低了模仿学习与强化学习算法的训练成本。其丰富的末端执行器运动标注与抓取状态信息，为研究复杂操作任务的序列决策过程提供了关键数据支撑，推动了机器人操作技能泛化能力的发展。

衍生相关工作

基于该数据集衍生的研究工作主要集中在分层强化学习框架的构建。研究者利用其细粒度子任务标注开发了模块化操作策略，显著提升了长时序任务的完成率。同时，该数据集催生了多项关于多模态感知融合的研究，通过结合视觉观察与本体感觉信息，实现了在动态环境中鲁棒的操作性能，推动了机器人操作认知能力的发展。