leju_robot_part_placement

leju_robot_part_placement数据集基于LeRobot的扩展格式，包含机器人从前面柜子抓取部件，转身并将部件放置在后面的桌子上的任务。数据集包含538个总剧集，796570个总帧，1个总任务，1614个总视频，1个总块，块大小为1000，FPS为30。数据集包括14个相机视图和丰富的注释，支持多种学习方法。

原始信息汇总

leju_robot_part_placement 数据集概述

基本信息

• 数据集名称: leju_robot_part_placement
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 规模分类: 100K-1M
• 机器人类型: leju_robot
• 代码库版本: v2.1

数据集统计

指标	数值
总情节数	538
总帧数	796570
总任务数	1
总视频数	1614
总分块数	1
分块大小	1000
帧率	30

作者与贡献者

• BAAI-RoboCOIN Team
• Beijing Academy of Artificial Intelligence

相关链接

• 主页: https://RoboCoin.github.io/
• 论文: in comming
• 代码库: https://github.com/RoboCoin/robocoin-dataset
• 项目页面: https://RoboCoin.github.io/

数据集标签

• RoboCoin
• LeRobot

任务描述

主要任务

pick up part from front cabinet turn around place on part at back table

子任务

1. End
2. Grasp the black part with right gripper
3. Grasp the gray part with right gripper
4. Insert the large parts into the corresponding slots on the workbench
5. Insert the small parts into the corresponding slots on the workbench
6. Move the large parts to the workbench
7. Move the small parts to the workbench
8. Move to the table behind body
9. null
10. Pick up the large parts from the shelf
11. Pick up the small parts from the shelf
12. Place the black part on the table with right gripper
13. Place the gray part on the table with right gripper
14. Return to the initial position at the shelf
15. Return to the initial position at the workbench

数据特征

视觉观测

• 相机视角数量: 14
• 头部RGB相机: 480×848分辨率，30FPS，AV1编码
• 左手腕RGB相机: 480×848分辨率，30FPS，AV1编码
• 右手腕RGB相机: 480×848分辨率，30FPS，AV1编码

状态与动作

• 观测状态: 118维浮点向量（关节位置、速度、力矩、末端执行器位姿等）
• 动作: 54维浮点向量（关节位置和速度控制）

时间信息

• 时间戳、帧索引、情节索引、任务索引

可用标注

子任务标注

• 细粒度子任务分割和标注

场景标注

• 语义场景分类和描述

末端执行器标注

• 运动方向分类
• 速度幅度分类
• 加速度幅度分类

夹爪标注

• 开/关状态标注
• 活动状态分类（活动/非活动）

附加特征

• 末端执行器仿真位姿（6D位姿信息）
• 夹爪开度尺度（连续测量）

数据划分

• 训练集: 情节0-537

数据集结构

文件组织

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块组织: 1个分块，每个分块大小1000

目录结构

leju_robot_part_placement_qced_hardlink/ ├── annotations/ ├── data/ │ └── chunk-000/ ├── meta/ └── videos/ └── chunk-000/ ├── observation.images.camera_head_rgb/ ├── observation.images.camera_left_wrist_rgb/ └── observation.images.camera_right_wrist_rgb/

版本信息

• v1.0.0 (2025-11): 初始发布

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，leju_robot_part_placement数据集采用基于LeRobot框架的扩展格式构建，通过乐聚机器人平台采集了538个完整操作序列。数据采集过程涵盖796,570帧视觉信息，以30帧每秒的速率记录多视角RGB视频流，同时整合了机器人关节状态、末端执行器位姿和动作指令等多模态数据。数据集采用分块存储机制，将数据组织为单个千级规模的数据块，确保高效的数据访问与管理。

使用方法

研究者可通过LeRobot兼容接口直接加载该数据集，利用标准化的数据加载器访问多模态观测序列。数据集支持端到端的机器人策略学习，用户可基于视觉观察和状态信息训练行为克隆或逆强化学习模型。对于动作生成任务，可利用末端执行器位姿和抓取器状态标注进行精细的运动规划。数据集的时序结构和任务标注为分层强化学习提供了天然的分段信号，同时其丰富的运动学特征便于进行机器人动力学分析与仿真验证。

背景与挑战

背景概述

机器人操作任务数据集作为智能机器人研究的重要基础资源，其发展历程体现了从简单抓取到复杂装配任务的演进脉络。leju_robot_part_placement数据集由北京人工智能研究院与BAAI-RoboCOIN团队联合构建，聚焦于双足机器人零部件拾取与放置这一核心研究问题。该数据集基于LeRobot框架扩展开发，包含538个完整操作序列与79万帧多视角视觉数据，通过14个摄像头视角与精细的末端执行器运动标注，为具身智能研究提供了高维度状态-动作映射关系的实证基础。其多模态数据架构与细粒度任务分解机制，显著推动了动态环境下机器人操作策略的泛化能力研究。

当前挑战

在机器人操作领域，零部件精确放置任务需克服三维空间定位误差与多物体交互动力学建模的双重挑战。数据集构建过程中面临多传感器时序同步的技术瓶颈，需协调14路视觉数据与118维关节状态信息的采集精度。末端执行器六维位姿标注的物理一致性验证构成主要难点，特别是在双足机器人动态平衡状态下保持标注可靠性。此外，15类子任务的语义边界界定需要解决动作片段分割的主观偏差，而大规模视频数据的存储优化与实时检索机制亦对计算架构提出更高要求。

常用场景

经典使用场景

在机器人操作学习领域，leju_robot_part_placement数据集通过538个完整操作序列和796,570帧多视角视觉数据，为双臂机器人部件装配任务提供了标准化评估基准。该数据集以乐聚机器人为载体，记录了从前方柜体抓取部件到后方工作台精准放置的完整操作流程，其丰富的子任务标注体系使研究者能够系统分析机器人抓取、移动、插入等基础操作的时序逻辑与空间约束关系。

解决学术问题

该数据集有效解决了机器人操作中动作分割与语义理解的关键难题。通过细粒度的子任务标注与多模态传感器融合，为模仿学习与强化学习算法提供了精确的动作边界标注。其包含的末端执行器运动轨迹、夹爪状态变化等丰富特征，使得研究者能够深入探究机器人操作任务的层次化结构，推动从低层运动控制到高层任务规划的端到端学习框架发展。

实际应用

在工业自动化场景中，该数据集支撑的机器人操作技术已应用于精密装配生产线。通过模拟真实工业环境中的部件取放流程，为柔性制造系统提供了可靠的技能迁移方案。其多视角视觉观测与精确的动作指令映射，使得训练后的机器人能够适应不同布局的工作站，在电子元件装配、汽车零部件处理等场景实现高效精准的自动化操作。

数据集最近研究

最新研究方向

在机器人操作领域，leju_robot_part_placement数据集正推动多模态学习与精细任务规划的前沿探索。该数据集凭借其丰富的视觉观察、末端执行器运动特征和细粒度子任务标注，成为研究双臂协调操作与动态场景适应的关键资源。当前热点聚焦于利用其多维传感器数据开发端到端模仿学习模型，结合LeRobot框架优化复杂装配任务的泛化能力。这些进展对工业自动化和服务机器人发展具有深远影响，为真实世界非结构化环境下的智能操作奠定了数据基础。