realman_rmc_aidal_get_water

该数据集是一个基于LeRobot格式的扩展数据集，用于机器人任务，包括抓取和放置杯子的动作。数据集包含了1002个视频文件，总共328427帧，分为训练集和测试集。数据集提供了丰富的特征，包括不同摄像头的图像、机器人关节状态、末端执行器位置和方向等。

This dataset is an extended dataset based on the LeRobot format, designed for robotic tasks including cup grasping and placing actions. It contains 1002 video files with a total of 328,427 frames, and is split into training and test sets. The dataset provides rich features including images from different cameras, robotic joint states, end-effector positions and orientations, and other relevant contents.

原始信息汇总

数据集概述

基本信息

• 数据集名称: realman_rmc_aidal_get_water
• 许可证: Apache-2.0
• 语言: 英语、中文
• 任务类别: 机器人学
• 规模分类: 100K-1M
• 主页: https://RoboCoin.github.io/
• 论文: 即将发布

数据集贡献

• 贡献者: RoboCoin
• 标注者: RoboCoin

技术特性

• 基础格式: 基于LeRobot的扩展格式，完全兼容LeRobot
• 代码库版本: v2.1
• 机器人类型: realman_rmc_aidal
• 帧率: 30 fps

数据规模

• 总 episodes: 334
• 总帧数: 328,427
• 总任务数: 3
• 总视频数: 1,002
• 数据块数: 1
• 块大小: 1,000
• 训练集: 全部334个episodes

任务描述

• 左机械爪拿起黑色杯子水平放置在水龙头下，右机械爪打开水龙头注水后关闭
• 左机械爪拿起红色杯子水平放置在水龙头下，右机械爪打开水龙头注水后关闭
• 右机械爪拿起红色杯子水平放置在水龙头下，左机械爪打开水龙头注水后关闭

数据结构

数据文件

• 格式: Parquet
• 路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征字段

视觉观测

• observation.images.cam_high_rgb: 480×640×3 RGB视频
• observation.images.cam_left_wrist_rgb: 480×640×3 RGB视频
• observation.images.cam_right_wrist_rgb: 480×640×3 RGB视频
• 视频编码: AV1, YUV420p, 无音频

状态观测

• observation.state: 28维浮点数组，包含左右机械臂关节角度、末端执行器位姿和夹爪状态
• eef_sim_pose_state: 12维浮点数组，左右末端执行器位置和方向
• eef_direction_state: 2维整型数组，左右末端执行器方向
• eef_velocity_state: 2维整型数组，左右末端执行器速度
• eef_acc_mag_state: 2维整型数组，左右末端执行器加速度幅度
• gripper_open_scale_state: 2维浮点数组，左右夹爪开合尺度
• gripper_mode_state: 2维整型数组，左右夹爪模式
• gripper_activity_state: 2维整型数组，左右夹爪活动状态

动作数据

• action: 28维浮点数组，结构与状态观测相同
• 对应的动作特征字段与状态特征字段结构一致

元数据

• timestamp: 时间戳
• frame_index: 帧索引
• episode_index: episode索引
• task_index: 任务索引
• subtask_annotation: 5维子任务标注
• scene_annotation: 场景标注

标签

• RoboCoin
• LeRobot

搜集汇总

数据集介绍

构建方式

在机器人操作任务领域，realman_rmc_aidal_get_water数据集通过精心设计的实验流程构建而成。该数据集采集自真实环境下的双臂机器人执行任务过程，涵盖334个完整情节，总计328,427帧数据，以30帧每秒的速率记录。数据以分块形式存储于Parquet文件中，每个情节包含多视角视觉观测与高维状态动作信息，确保数据的完整性与时序一致性。

使用方法

基于LeRobot兼容格式设计，研究者可通过标准数据加载接口直接访问该数据集。每个情节文件包含完整的观测-动作对序列，支持端到端的模仿学习与强化学习算法训练。数据划分明确标注训练集范围，用户可依据帧索引与情节索引进行灵活的数据切片，视频文件与特征数据通过统一路径模板关联，便于开展机器人操作任务的跨模态学习研究。

背景与挑战

背景概述

机器人操作任务数据集realman_rmc_aidal_get_water由RoboCoin团队基于LeRobot框架构建，聚焦于双臂协作的精细化操作场景。该数据集通过记录双机械臂执行取杯、接水、关水龙头等系列动作，旨在解决机器人对复杂连续任务的感知与执行问题。其包含334个完整交互序列与32万帧多视角视觉数据，为模仿学习与策略泛化研究提供了高维度状态-动作映射样本，显著推动了家庭服务机器人操作技能的标准化进程。

当前挑战

该数据集需应对双臂协同操作中的动态时序规划挑战，包括机械臂轨迹避碰、抓握力度自适应调节及视觉-动作闭环校准等核心难题。构建过程中面临多传感器数据同步精度不足、异构动作空间标注一致性维护等问题，同时需克服真实环境中光照变化、物体位姿扰动对模型泛化能力的影响。

常用场景

经典使用场景

在机器人操作学习领域，realman_rmc_aidal_get_water数据集通过双机械臂协同执行倒水任务，为模仿学习与强化学习算法提供了标准验证平台。其多视角视觉观测与高维动作空间的结构特性，使得研究者能够系统评估机械臂在复杂环境中的抓取定位、工具操作等核心能力，成为双臂协调控制研究的典型基准。

解决学术问题

该数据集有效解决了机器人技能泛化与多模态感知融合的学术难题。通过提供包含关节状态、末端位姿、视觉流等多源同步数据，支持了从感知到动作的端到端策略学习研究。其丰富的动作标注体系为动态系统建模、任务分解推理等方向提供了数据支撑，显著推动了具身智能在真实场景中的认知决策能力发展。

实际应用

基于该数据集训练的模型可直接迁移至家庭服务机器人系统，实现自动化餐饮准备、老年护理辅助等实际功能。其记录的精细操作流程为工业装配、危险环境作业等场景提供了安全可靠的技术范本，通过模拟人类双手协作模式，显著提升了机器人应对非结构化环境的适应性与操作精度。

数据集最近研究

最新研究方向

在机器人操作领域，realman_rmc_aidal_get_water数据集以其双机械臂协同任务设计，正推动模仿学习与多模态感知融合的前沿探索。当前研究聚焦于利用其丰富的视觉-状态动作对数据，开发端到端策略网络，以提升机器人在动态环境中执行复杂序列任务的泛化能力。随着家庭服务机器人需求增长，该数据集为双臂协调操作、物体交互建模提供了关键基准，促进了机器人从单一指令执行向自适应任务规划的演进，对实现智能自主系统具有深远意义。