R1_Lite_put_the_pillow_on_the_bed

R1_Lite_put_the_pillow_on_the_bed数据集是一个基于LeRobot格式的扩展数据集，完全兼容LeRobot。数据集使用了R1_Lite机器人类型，代码库版本为v2.1，末端执行器类型为双指抓手。数据集涵盖了家庭场景，并包括了抓取、拾取和放置等原子动作。数据集总共包含48个剧集，53484帧，1个任务，144个视频，1个数据块，每个数据块大小为1000。数据集以parquet格式存储，视频以mp4格式存储。数据集提供了丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度、加速度、抓手模式和活动状态等。数据集还包括了末端执行器模拟姿态和抓手打开尺度等额外特征。数据集被分为训练集和测试集。数据集遵循LeRobot格式，并包含了视频、状态数据、动作数据和元数据等组件。数据集以特定的路径模式组织，并包含了详细的特征模式。数据集的元信息可以在meta/info.json文件中找到。数据集的目录结构清晰地展示了数据集的组织方式。数据集的许可证为Apache-2.0。如果您在研究中使用此数据集，请引用相应的论文。

The R1_Lite_put_the_pillow_on_the_bed dataset is an extended dataset built on the LeRobot format, and is fully compatible with the LeRobot framework. It adopts the R1_Lite robot type, with a codebase version of v2.1, and uses a two-finger gripper as its end-effector. The dataset covers home scenarios and includes atomic manipulation actions such as grasping, picking, and placing. In total, it contains 48 episodes, 53484 frames, 1 single task, 144 videos, and 1 data chunk with a size of 1000 per chunk. The dataset is stored in Parquet format, while the video files are stored in MP4 format. Rich annotations are provided, including subtask segmentation, scene descriptions, end-effector orientation, velocity, acceleration, gripper mode and active status, among others. Additional features such as simulated end-effector poses and gripper opening width are also included. The dataset is split into a training set and a test set. It strictly follows the LeRobot format, and consists of components like videos, state data, action data and metadata. The dataset is organized following a specific path pattern, and includes detailed feature schemas. The metadata of the dataset can be accessed via the meta/info.json file. The directory structure of the dataset clearly illustrates its organizational framework. The dataset is licensed under Apache-2.0. If you use this dataset in your research work, please cite the corresponding academic paper.

原始信息汇总

R1_Lite_put_the_pillow_on_the_bed 数据集概述

基本信息

• 数据集名称: R1_Lite_put_the_pillow_on_the_bed
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人技术
• 标签: RoboCOIN, LeRobot
• 帧数范围: 10K-100K

机器人配置

• 机器人类型: R1_Lite
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

场景与动作

场景类型

• 家庭环境

原子动作

• 抓取
• 拾取
• 放置

数据集统计

指标	数值
总情节数	48
总帧数	53484
总任务数	1
总视频数	144
总分块数	1
分块大小	1000
帧率	30 FPS
数据集大小	1.7GB

任务描述

主要任务

将枕头从床边移动到床头和床尾

子任务

1. 移动到床尾
2. 移动到床头
3. 无操作
4. 拾起枕头
5. 将枕头放置在床边
6. 将枕头放置在床尾

数据特征

视觉观察

• observation.images.cam_high_rgb: 视频，720×1280分辨率，30 FPS，AV1编码
• observation.images.cam_left_wrist_rgb: 视频，720×1280分辨率，30 FPS，AV1编码
• observation.images.cam_right_wrist_rgb: 视频，720×1280分辨率，30 FPS，AV1编码

状态与动作

• observation.state: float32，14维关节状态
• action: float32，14维动作命令

时间信息

• 时间戳、帧索引、情节索引、任务索引

标注信息

• 子任务标注: 细粒度子任务分割和标注
• 场景标注: 语义场景分类和描述
• 末端执行器标注: 方向、速度、加速度分类
• 夹爪标注: 开闭状态、活动状态

数据分割

• 训练集: 情节0-47

文件结构

R1_Lite_put_the_pillow_on_the_bed_qced_hardlink/ ├── annotations/ # 标注文件 ├── data/ # 数据文件（Parquet格式） ├── meta/ # 元数据 └── videos/ # 视频文件

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu et al.}, journal={arXiv preprint arXiv:2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据集构建领域，该数据集采用基于LeRobot框架的扩展格式进行系统化构建。通过R1_Lite型机器人搭载双指夹爪执行器，在家庭场景中采集枕头放置任务的完整操作序列。数据采集过程包含48个完整片段，总计53484帧视觉数据，以30帧/秒的采样率记录多视角RGB视频流，并同步采集机器人关节状态与动作指令。数据以分块方式组织，每个数据块包含1000个片段，采用Parquet格式高效存储多维时序数据。

特点

该数据集在机器人操作学习领域展现出显著的多模态特征优势。其核心特色在于提供三个不同视角的同步视觉观测：高位摄像头、左右腕部摄像头，均以720p分辨率记录操作过程。数据集包含丰富的动作语义标注，涵盖抓取、拾取、放置等基本操作单元，并配备精细的子任务分割标注。运动特征方面提供末端执行器的六维位姿、速度、加速度等多维度运动参数，夹爪状态则包含开合尺度、工作模式等详细控制信息，为机器人模仿学习提供全面的监督信号。

使用方法

在机器人技能学习应用场景中，该数据集支持端到端的模仿学习流程。研究人员可通过LeRobot兼容接口直接加载数据，利用观察-动作对训练策略网络。数据集提供的多视角视觉输入可用于视觉运动策略学习，丰富的状态动作标注支持行为克隆和逆强化学习等算法。子任务标注便于分层强化学习研究，而详细的运动特征则适用于动力学建模分析。训练集包含0-47号完整片段，数据按标准路径模式组织，支持批量加载和流式处理，满足不同规模模型的训练需求。

背景与挑战

背景概述

在机器人操作领域，双手机器人执行复杂任务一直是研究热点。R1_Lite_put_the_pillow_on_the_bed数据集由RoboCOIN团队于2025年发布，作为RoboCOIN项目的重要组成部分。该数据集聚焦于家庭环境中的物体操作任务，具体模拟将枕头从床头移动至床尾的完整流程。数据集基于LeRobot框架构建，包含53484帧视觉数据与精细的动作标注，为机器人模仿学习与策略优化提供了高质量基准。其多视角视觉观测与丰富的运动特征标注，显著推动了双臂协调操作研究的发展。

当前挑战

该数据集致力于解决家庭服务机器人执行精细操作任务的挑战，包括物体抓取稳定性、放置位置精度以及双臂运动协调性等核心问题。在构建过程中，面临多传感器数据同步、复杂场景下的动作分割标注、以及仿真与现实世界动力学差异等工程难题。数据采集需平衡不同光照条件下的视觉一致性，同时确保末端执行器运动轨迹的平滑性与物理合理性，这些因素共同构成了数据集构建的技术壁垒。

常用场景

经典使用场景

在机器人操作学习领域，该数据集聚焦于家居环境中的物体操控任务，通过记录双指夹爪机器人执行枕头放置动作的完整流程，为模仿学习与强化学习算法提供了标准化的训练范本。其多视角视觉数据与精细的动作标注能够有效支持端到端策略网络的训练，特别是在复杂操作序列的时序建模方面展现出显著价值。

衍生相关工作

基于该数据集衍生的研究已拓展至跨任务技能迁移领域，其中RoboCOIN团队提出的分层强化学习框架实现了操作技能的模块化复用。相关成果进一步催生了动态场景适应算法的创新，在LeRobot生态中形成了从单任务学习到多任务泛化的技术演进路径。

数据集最近研究

最新研究方向

在家庭服务机器人领域，R1_Lite_put_the_pillow_on_the_bed数据集正推动双手机器人操作的前沿探索。该数据集通过精细标注的抓取、拾取与放置等原子动作，为模仿学习与强化学习算法提供了丰富的训练样本。其多视角视觉数据与末端执行器运动轨迹的紧密结合，正成为研究机器人精细操作与任务分解的热点方向。随着RoboCOIN项目在开源机器人数据领域的持续拓展，这类高精度标注数据集正逐步解决家庭环境中非结构化任务的泛化难题，为具身智能的发展注入新的动力。