mirobot-pickplace

该数据集是一个机器人技术相关的数据集，包含63个剧集，共15993帧，使用wlkata_mirobot型机器人收集。数据集分为训练集，所有数据以.parquet格式存储，并伴有相应的视频文件。数据集特征包括机器人的动作、状态、顶部和手腕摄像头图像等信息。

原始信息汇总

数据集概述

基本信息

• 名称: mirobot-pickplace
• 任务类别: 机器人技术
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总情节数: 63
• 总帧数: 15993
• 数据分块大小: 1000
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 数据划分: 训练集（0:63）

数据结构

• 数据格式: Parquet文件
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征说明

动作特征

• 数据类型: float32
• 维度: [7]
• 特征名称:
  • pose_x
  • pose_y
  • pose_z
  • pose_roll
  • pose_pitch
  • pose_yaw
  • gripper_open

状态观测

• 数据类型: float32
• 维度: [7]
• 特征名称:
  • pose_x
  • pose_y
  • pose_z
  • pose_roll
  • pose_pitch
  • pose_yaw
  • gripper_open

图像观测

顶部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 编码格式: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS

腕部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 编码格式: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS

索引特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 情节索引: int64 [1]
• 任务索引: int64 [1]
• 全局索引: int64 [1]

技术规格

• 机器人类型: wlkata_mirobot
• 代码库版本: v3.0
• 视频属性: 无音频，非深度图

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，mirobot-pickplace数据集通过LeRobot平台系统构建，采用Wlkata Mirobot机械臂执行拾取放置任务。数据采集过程包含63个完整操作序列，总计15993帧数据，以30帧/秒的速率记录。数据集以分块存储形式组织，每个数据块包含1000帧观测记录，采用Parquet格式高效存储多维特征信息。

特点

该数据集显著特征在于多模态数据融合，同步记录机械臂末端执行器的七维位姿参数与夹爪状态，同时配备顶部摄像头和腕部摄像头双视角视觉数据。所有动作与观测数据均以32位浮点数精确表征，视觉数据采用AV1编码的480p分辨率视频流。数据集结构设计支持端到端模仿学习研究，提供完整的时间戳与帧索引对应关系。

使用方法

研究人员可通过加载Parquet数据文件直接访问结构化观测与动作序列，利用帧索引实现时间序列分析。数据集支持机械臂运动轨迹重建与视觉感知联合建模，顶部与腕部摄像头数据可用于视角不变性研究。用户可依据分块索引机制高效读取大规模数据，结合动作空间七维参数开发机器人控制策略。

背景与挑战

背景概述

机器人操作数据集mirobot-pickplace由HuggingFace的LeRobot项目团队构建，聚焦于机械臂抓取放置任务的研究。该数据集采用WLKATA Mirobot六自由度机械臂平台，通过顶部与腕部双视角摄像头同步采集视觉数据，结合七维位姿控制与夹爪状态信息，为模仿学习与强化学习算法提供多模态交互轨迹。其结构化存储格式与大规模示教数据为机器人技能泛化研究奠定基础，推动低成本机械臂在现实场景中的自主操作能力发展。

当前挑战

该数据集致力于解决机器人抓取放置任务中动作轨迹精确建模与多模态感知融合的经典难题。构建过程中面临机械臂运动精度控制与多传感器时序同步的技术挑战，需确保15993帧数据在30Hz采样率下的时空一致性。此外，从原始视频流到结构化特征提取的流程中，需平衡高维视觉数据压缩与动作语义保留之间的张力，这对跨场景任务泛化提出更高要求。

常用场景

经典使用场景

在机器人操作任务研究中，mirobot-pickplace数据集为机械臂抓取与放置行为提供了标准化实验平台。该数据集通过整合多视角视觉输入与七维动作空间，完整记录了机械臂末端执行器的空间位姿与抓取器状态，为模仿学习与强化学习算法提供了丰富的交互轨迹。其结构化数据格式支持端到端策略训练，已成为机器人技能学习领域的基础基准。

实际应用

在工业自动化场景中，该数据集支撑了智能分拣系统的开发与应用。基于数据驱动的抓取策略可适应不同形状物体的操作需求，通过迁移学习技术将实验室训练模型部署至实际产线。其包含的腕部相机与顶部相机数据为机器人提供了类人的视觉反馈机制，显著提升了在动态环境中操作的鲁棒性与精确度。

衍生相关工作

以该数据集为基础衍生了系列创新研究，包括基于时空注意力的操作轨迹预测模型、多任务强化学习框架等经典工作。研究者通过对其分层动作表示的分析，开发了面向稀疏奖励场景的分层强化学习算法。这些成果进一步拓展了数据集中动作序列的语义理解，推动了机器人操作知识迁移与终身学习方向的发展。