leju_robot_pass_the_cleaner_a

这是一个基于LeRobot扩展格式的机器人数据集，包含457个场景，每个场景包含RGB摄像头观察结果、机器人状态信息和动作命令。数据集包括丰富的注释，支持多种学习方法，如子任务分割、场景描述、运动方向分类、速度和加速度分类、抓手状态分类等。数据集按照LeRobot格式组织，包含视频文件、状态数据和动作数据等。数据集分为训练集和测试集。

原始信息汇总

leju_robot_pass_the_cleaner_a 数据集概述

📋 基本信息

• 数据集名称: leju_robot_pass_the_cleaner_a
• 机器人类型: leju_robot
• 代码库版本: v2.1
• 数据格式: 基于LeRobot扩展格式，完全兼容LeRobot
• 许可证: apache-2.0
• 语言: 英文、中文
• 任务类别: 机器人学

📊 数据集统计

指标	数值
总情节数	457
总帧数	169467
总任务数	1
总视频数	1371
总块数	1
块大小	1000
帧率	30

🎯 任务描述

主要任务

拿起清洁器并放在桌子上

子任务

1. null
2. 从桌子上拿起瓶子
3. 将瓶子转到正面

📁 数据集结构

文件组织

• 数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块: 数据组织为1个块，每个块大小1000

目录结构

leju_robot_pass_the_cleaner_a_qced_hardlink/ ├── annotations/ ├── data/ │ └── chunk-000/ ├── meta/ └── videos/ └── chunk-000/ ├── observation.images.camera_head_rgb/ ├── observation.images.camera_left_wrist_rgb/ └── observation.images.camera_right_wrist_rgb/

🎥 视觉观测

• observation.images.camera_head_rgb: 视频，帧率30，编码av1
• observation.images.camera_left_wrist_rgb: 视频，帧率30，编码av1
• observation.images.camera_right_wrist_rgb: 视频，帧率30，编码av1
• 图像分辨率: 480×848×3

🔧 状态与动作

• observation.state: float32，维度118
• action: float32，维度54

🏷️ 可用标注

子任务标注

• 子任务分割: 细粒度子任务分割和标注

场景标注

• 场景级描述: 语义场景分类和描述

末端执行器标注

• 方向: 机器人末端执行器运动方向分类
• 速度: 操作过程中的速度大小分类
• 加速度: 运动分析的加速度大小分类

夹爪标注

• 夹爪模式: 夹爪开/关状态标注
• 夹爪活动: 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真位姿: 仿真空间中末端执行器的6D位姿信息（状态和动作均可用）
• 夹爪开口尺度: 连续夹爪开口测量（状态和动作均可用）

📂 数据划分

• 训练: 情节0:456

👥 贡献者

• @BAAI-RoboCOIN Team
• @Beijing Academy of Artificial Intelligence

🔗 相关链接

• 主页: https://RoboCoin.github.io/
• 代码库: https://github.com/RoboCoin/robocoin-dataset
• 项目页面: https://RoboCoin.github.io/

🏷️ 数据集标签

• RoboCoin
• LeRobot

📌 版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，该数据集采用LeRobot扩展格式构建，通过乐聚机器人平台系统记录457个完整操作片段。数据采集过程以30帧率同步捕获多视角视觉信息，包含头部、左右腕部三个RGB摄像头的高清视频流。技术实现上采用分块存储架构，将169467帧数据按1000帧单元组织成Parquet格式，确保高效存取与完整性验证。数据标注流程涵盖精细的动作分解，对末端执行器运动轨迹进行六维姿态标定，并同步记录关节状态与动力学参数。

特点

该数据集在机器人操作学习领域展现出多维度的技术特征。视觉感知层面提供三路高清视频流，分辨率达848×480，采用AV1编码保障传输效率。运动表征方面包含118维全关节状态空间与54维动作空间，覆盖双臂、双腿及头部完整运动链。标注体系设计精良，细分任务标注支持层次化学习，末端执行器运动学参数提供方向、速度、加速度的量化分类。仿真空间中的六维姿态信息为迁移学习奠定基础，抓取器开合尺度连续记录则实现了精细操作的可控性研究。

使用方法

在机器人模仿学习应用场景中，该数据集支持端到端的策略学习流程。研究者可通过LeRobot标准接口加载数据，利用观察状态与动作序列的对应关系训练控制策略。视觉模态与状态空间的联合学习允许模型从多视角视频中提取操作特征，末端执行器仿真姿态为sim-to-real迁移提供桥梁。数据集按训练集完整划分，支持基于时间序列的序列建模任务。开发者可依据标准文件路径访问视频流与状态数据，利用丰富的运动学标注实现细粒度行为克隆与强化学习算法验证。

背景与挑战

背景概述

在机器人操作学习领域，高质量数据集对于推动智能体在复杂环境中的决策能力具有关键作用。leju_robot_pass_the_cleaner_a数据集由北京智源人工智能研究院与BAAI-RoboCOIN团队于2025年11月联合发布，聚焦于双足机器人执行物体抓取与放置任务的核心研究问题。该数据集基于LeRobot框架构建，包含457个任务片段与16.9万帧多视角视觉数据，通过精细标注的末端执行器运动轨迹与抓取状态，为仿人机器人操作技能学习提供了重要基准，显著促进了具身智能在现实场景中的适应性研究。

当前挑战

该数据集致力于解决双足机器人动态抓取任务中的动作规划挑战，需在复杂物理约束下实现多关节协同控制与视觉感知融合。构建过程中面临多模态数据同步难题，包括14个相机视角的时空对齐、高维状态动作空间的标注一致性维护。末端执行器六维位姿的精确标定与抓取器活动状态的连续记录，对传感器校准与数据管道可靠性提出了极高要求，而大规模视频流与结构化数据的存储优化亦是关键瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为双手机器人抓取与放置任务提供了丰富的示范数据。通过457个完整操作序列和169467帧多视角视觉数据，研究者能够训练机器人完成拾取清洁器并放置于桌面的核心任务。数据集包含头部、左右腕部三个视角的RGB视频流，配合精确的末端执行器位姿标注，为模仿学习算法提供了完整的感知-动作映射关系。

衍生相关工作

基于该数据集格式的兼容性，已衍生出多个LeRobot生态系统的扩展研究。研究者利用其丰富的标注体系开发了分层强化学习框架，将复杂操作任务分解为可学习的子技能。同时，该数据集促进了多模态模仿学习算法的发展，结合视觉观察与运动轨迹的联合建模，为机器人操作技能的快速适应与泛化提供了新的技术路径。

数据集最近研究

最新研究方向

在机器人操作学习领域，leju_robot_pass_the_cleaner_a数据集正推动多模态感知与精细操作控制的前沿探索。该数据集通过14个相机视角的视觉观测与丰富的末端执行器运动标注，为双臂协调操作研究提供了重要支撑。当前研究聚焦于基于视觉的强化学习算法开发，特别是利用末端执行器6D位姿信息与抓取器状态标注，实现清洁工具抓取与放置任务的精确控制。随着家庭服务机器人需求增长，该数据集在复杂场景下的多任务学习能力评估方面展现出独特价值，其精细的动作分割与运动学参数为模仿学习与行为克隆提供了高质量训练基础。