R1_Lite_catch_the_water

R1_Lite_catch_the_water 数据集是基于 LeRobot 格式的扩展版本，完全兼容 LeRobot。该数据集使用了 R1_Lite 机器人，代码库版本为 v2.1，末端执行器为两指抓取器。数据集涵盖了家庭场景类型，并包含了抓取、拾取、放置、打开和关闭等原子动作。数据集包含 148 个总剧集、133503 个总帧、1 个总任务、444 个总视频和 1 个总块，数据大小为 5.6GB。数据集提供了丰富的注释，包括子任务分割、场景描述、末端执行器方向、速度、加速度、抓取器模式和活动状态等。此外，数据集还包括了末端执行器模拟姿态、抓取器开启比例等额外特征。数据集遵循 LeRobot 格式，并包含了视频、状态数据和动作数据等组件。数据集被组织成训练和测试分割，并遵循特定的文件组织模式。数据集遵循 Apache-2.0 许可证。

原始信息汇总

R1_Lite_catch_the_water 数据集概述

基本信息

• 数据集名称: R1_Lite_catch_the_water
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 框架范围: 100K-1M

技术规格

• 机器人类型: R1_Lite
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪
• 帧率: 30 FPS
• 数据集大小: 5.6GB

场景与动作

场景类型

• 家庭环境

原子动作

• 抓取
• 拾取
• 放置
• 打开
• 关闭

数据集统计

指标	数值
总情节数	148
总帧数	133,503
总任务数	1
总视频数	444
总分块数	1
分块大小	1000

任务描述

主要任务

用水龙头往杯子里装水，然后关闭水龙头并将杯子放在桌子上

子任务

1. 异常
2. 空
3. 拿起杯子
4. 将杯子放在饮水机下
5. 将杯子放在饮水机旁边
6. 关闭水龙头
7. 打开水龙头

数据特征

视觉观察

• 3个摄像头视角：
  • 高位RGB摄像头
  • 左手腕RGB摄像头
  • 右手腕RGB摄像头
• 分辨率：720×1280
• 编码格式：AV1

状态与动作

• 观察状态：14维浮点数（关节位置和夹爪状态）
• 动作：14维浮点数（关节控制命令）

运动特征

• 末端执行器仿真姿态（状态和动作）
• 末端执行器方向分类
• 末端执行器速度分类
• 末端执行器加速度分类

夹爪特征

• 夹爪开合尺度
• 夹爪模式（开/关）
• 夹爪活动状态

数据标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度大小分类
• 加速度大小分类

夹爪标注

• 夹爪模式状态
• 夹爪活动状态

数据组织

文件结构

• 数据文件：Parquet格式
• 视频文件：MP4格式
• 分块组织：1个分块，每块1000个情节

数据分割

• 训练集：情节0-147

作者与链接

贡献者

• RoboCOIN团队

相关链接

• 主页：https://flagopen.github.io/RoboCOIN/
• 论文：https://arxiv.org/abs/2511.17441
• 代码库：https://github.com/FlagOpen/RoboCOIN
• 项目页面：https://flagopen.github.io/RoboCOIN/
• 问题反馈：https://github.com/FlagOpen/RoboCOIN/issues

兼容性

• 基于LeRobot扩展格式
• 完全兼容LeRobot框架

版本信息

• 初始版本：v1.0.0 (2025年11月)

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，R1_Lite_catch_the_water数据集基于LeRobot扩展格式构建，确保了与现有框架的完全兼容性。该数据集通过R1_Lite型机器人执行家庭环境下的接水任务，采集了148个完整操作片段，涵盖133,503帧视觉与运动数据。数据以分块形式组织，每个数据块包含1000个片段，所有视频均以30帧率的高清RGB格式记录，并通过严格的标注流程对机器人状态、动作及环境信息进行同步采集与结构化存储。

特点

该数据集在机器人操作学习领域展现出多模态融合的显著特点，整合了来自三个不同视角的高清视频流、14维关节状态与动作向量，以及丰富的末端执行器运动学标注。其独特优势在于提供了精细的子任务分割标注，涵盖抓取、放置、开关等原子操作，并包含末端执行器的六维位姿、速度、加速度等运动学参数。数据集还配备了抓握器开合状态与活动模式的双重标注，为复杂操作策略的分析与建模提供了多维度的数据支撑。

使用方法

研究人员可通过LeRobot标准接口直接加载该数据集，利用其预定义的数据分割方案进行模型训练与验证。数据集采用Parquet格式存储状态与动作数据，MP4格式存储多视角视频流，支持端到端的模仿学习与强化学习算法开发。用户可基于子任务标注实现分层策略学习，或利用运动学特征进行精细的动作分析与生成。该数据集兼容主流机器人学习框架，为双臂协调操作研究提供了即插即用的数据基础。

背景与挑战

背景概述

在机器人操作领域，家庭环境下的双手协调任务一直是研究重点。R1_Lite_catch_the_water数据集由RoboCOIN团队于2025年11月发布，基于LeRobot框架构建，专门针对R1_Lite型双臂机器人设计。该数据集聚焦于家庭场景中的精细操作任务，核心研究问题在于解决机器人执行复杂序列动作时的感知与控制协同难题。通过包含抓取、放置、开关等原子动作的133503帧数据，为模仿学习与强化学习算法提供了高质量的训练基础，显著推动了家庭服务机器人操作技能的标准化进程。

当前挑战

该数据集致力于解决家庭环境中机器人执行复杂操作序列的泛化能力挑战，具体涉及多步骤任务的动作规划与动态环境适应性。在构建过程中，面临双手协调动作的时序对齐难题，需要精确同步三路摄像头采集的视觉数据与14维关节状态信息。数据标注环节需处理末端执行器6D位姿、抓取器状态等多模态特征的统一标注标准，同时确保444段视频数据在压缩存储时保持30帧率下的视觉一致性。

常用场景

经典使用场景

在机器人操作学习领域，R1_Lite_catch_the_water数据集为双臂协调控制研究提供了典型范例。该数据集通过记录机械臂执行倒水任务的完整流程，包括抓取水杯、定位水龙头、控制水流等精细动作，为模仿学习算法提供了丰富的多视角视觉观测与关节运动轨迹数据。其包含的133,503帧高分辨率视频与14维状态动作空间，能够有效支撑端到端策略网络的训练与验证。

衍生相关工作

基于该数据集衍生的研究已形成系列创新成果。RoboCOIN团队在双臂操作表征学习方面提出了分层注意力机制，有效提升了长时序任务的执行成功率。后续研究则利用其丰富的运动注解开发了多模态融合网络，将视觉观测与动力学特征结合，在LeRobot框架上实现了更高精度的动作预测。这些工作共同推动了机器人操作学习从单一技能向复杂任务泛化的技术演进。

数据集最近研究

最新研究方向

在家庭服务机器人领域，R1_Lite_catch_the_water数据集正推动双手机器人操作的前沿探索。其丰富的多视角视觉数据与精细的末端执行器运动标注，为模仿学习与分层强化学习提供了坚实基础。当前研究聚焦于跨模态表示学习，通过融合RGB观测与6D位姿信息来提升动作预测精度。该数据集支持的子任务分割技术，正助力机器人理解复杂操作序列的语义结构，为具身智能在真实家居环境中的泛化能力开辟新路径。