metaworld-pick-place-v3-expert

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含训练集，共2636个样本。特征包括图像观察（480x480分辨率，3通道）、状态观察（4维浮点数，表示x、y、z坐标和夹爪状态）、动作（4维浮点数，表示dx、dy、dz和夹爪动作）、时间戳、帧索引和回合索引等。数据集使用Sawyer机器人采集，包含50个回合，2615帧数据，视频帧率为20fps。数据以parquet格式存储，视频以mp4格式存储。

This dataset was created by LeRobot, primarily intended for the field of robotics. It contains a training set with a total of 2636 samples. Its features include image observations (480x480 resolution, 3-channel), state observations (4-dimensional floating-point numbers representing x, y, z coordinates and gripper status), actions (4-dimensional floating-point numbers representing dx, dy, dz and gripper actions), timestamps, frame indices, and episode indices, among others. The dataset was collected using a Sawyer robot, containing 50 episodes and 2615 frames, with a video frame rate of 20 fps. The data is stored in Parquet format, while the videos are stored in MP4 format.

原始信息汇总

数据集概述

基本信息

• 数据集名称: metaworld-pick-place-v3-expert
• 许可协议: Apache-2.0
• 任务类别: 机器人学
• 相关标签: LeRobot

数据集来源

• 创建工具: 使用 LeRobot 创建。

数据集结构与内容

• 数据格式: 包含训练集（train）一个划分。
• 训练集样本数: 2636 个示例。
• 训练集大小: 约 611 MB。
• 下载大小: 约 611 MB。
• 数据集总大小: 约 611 MB。

数据特征

数据集中包含以下特征字段：

• observation.images.image: 图像数据，格式为视频，形状为 [480, 480, 3]，帧率为 20 fps，视频编码为 AV1。
• observation.state: 状态观测值，为包含 4 个浮点数的列表，分别对应 x, y, z 和夹爪状态。
• action: 动作数据，为包含 4 个浮点数的列表，分别对应 dx, dy, dz 和夹爪动作。
• episode_index: 回合索引，数据类型为 int64。
• frame_index: 帧索引，数据类型为 int64。
• timestamp: 时间戳，数据类型为 float32。
• next.done: 表示回合是否结束的标志，数据类型为 bool。

元数据信息

根据 meta/info.json 文件：

• 代码库版本: v3.0
• 机器人类型: sawyer
• 总回合数: 50
• 总帧数: 2615
• 任务总数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 20 fps
• 训练集划分: 包含第 0 到 50 回合。
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

补充说明

• 主页: 信息缺失。
• 论文: 信息缺失。
• 引用信息: 信息缺失。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量专家示范数据对于模仿学习与强化学习算法的训练至关重要。metaworld-pick-place-v3-expert数据集基于LeRobot框架构建，采集自Sawyer机器人执行pick-place任务的专家轨迹。数据集共包含50个完整回合，总计2615帧，以20帧每秒的采样频率记录，并按照1000帧的块大小进行分块存储。数据以Parquet格式保存结构化信息，同时将视觉观测以AV1编码的MP4视频文件存储，确保高保真度的视觉信息得以保留。数据集的构建遵循v3.0版本规范，所有数据均被划分为训练集，便于直接用于策略学习。

特点

该数据集的核心特点在于其多模态融合的专家示范数据。观测空间包含480×480像素的RGB图像与四维状态向量（x、y、z坐标及夹爪开合度），动作空间则为对应的四维连续控制信号。数据集中每个样本均包含时间戳、帧索引、回合索引等元信息，并提供了奖励值与任务成功标志，为离线强化学习提供了完整的反馈信号。所有视觉数据采用统一的视频编码格式，状态与动作数据以32位浮点数存储，保证了数据精度与一致性。数据集规模约为611MB，兼顾了数据丰富度与存储效率。

使用方法

研究人员可通过LeRobot库便捷地加载与使用该数据集。使用LeRobot的dataset API，可自动将视频数据解码为图像张量，并与状态、动作等结构化数据对齐。数据集支持批量采样与回合级遍历，适用于训练基于视觉的策略网络，如卷积神经网络结合运动规划器。用户可通过指定split参数访问训练集，利用frame_index与episode_index实现时序数据的高效检索。此外，数据集提供的奖励与成功标志可直接用于离线策略评估或基于价值函数的强化学习算法，降低了机器人操作任务中数据预处理的门槛。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习技术的融合为复杂操作任务的自主化提供了崭新路径。metaworld-pick-place-v3-expert数据集诞生于这一前沿探索浪潮中，由HuggingFace团队基于LeRobot框架构建，旨在为机械臂的抓取与放置任务提供高质量的专家示范数据。该数据集聚焦于Sawyer机器人平台，记录了50个完整回合共计2615帧的精细操作轨迹，包含480×480像素的视觉图像与四维状态动作空间（位置与夹爪控制）。作为MetaWorld基准测试的扩展，它填补了标准化专家数据在机器人操作研究中的空白，为离线强化学习、行为克隆及多任务泛化等方向提供了可复现的评估基准，对推动具身智能从仿真走向真实应用具有基石意义。

当前挑战

该数据集所解决的领域核心挑战在于机器人抓取放置任务的精准模仿与泛化能力不足，传统方法常因示范数据稀疏或状态维度不完整而失败。具体挑战包括：首先，视觉与状态信息的异构融合问题，图像（480×480×3）与低维状态（4维）的时空对齐需要高效编码；其次，专家演示的多样性受限，仅50个回合的轨迹难以覆盖真实环境中的物体位置、形状及光照变化，导致策略过拟合；再者，构建过程中，数据采集需在仿真中精确复现Sawyer机械臂的运动学约束与动力学特性，且每一帧的末端执行器位置（x,y,z,gripper）和动作增量（dx,dy,dz,gripper）必须保持物理一致性，对硬件同步与标定精度提出严苛要求；此外，奖励与成功标志的标注依赖人工阈值设定，易引入噪声，影响离线学习的稳定性。

常用场景

经典使用场景

在机器人学习与模仿学习的交汇领域，metaworld-pick-place-v3-expert 数据集以其精心采集的专家演示轨迹，成为训练机器人拾取与放置操作策略的经典基准。该数据集依托 Sawyer 机械臂平台，记录了 50 个完整回合的高质量状态-动作序列，涵盖末端执行器在三维空间中的坐标与夹爪状态，以及对应的视觉图像观测。研究者常利用这些数据，通过行为克隆或离线强化学习方法，使智能体习得稳健的拾取策略，并在 MetaWorld 仿真环境中验证算法对精细操作任务的泛化能力。

衍生相关工作

围绕该数据集，衍生出多项具有影响力的经典工作。在算法层面，研究者基于其专家轨迹提出了改进的行为克隆方法，如引入隐式策略正则化以缓解分布偏移；在表征学习方面，有工作利用数据中的图像与状态对偶信息，开发了跨模态特征对齐的预训练框架。此外，该数据集常被用于验证离线-在线混合训练策略，以及基于扩散模型的机器人动作生成范式，这些衍生研究共同推动了数据驱动型机器人学习生态的繁荣发展。

数据集最近研究

最新研究方向

在机器人学习领域，MetaWorld平台的pick-place任务因其基础性与代表性，一直是模仿学习与强化学习算法验证的经典场景。基于该数据集的近期研究前沿，显著聚焦于利用大规模专家演示数据推动视觉-运动策略的跨任务泛化能力。特别是结合LeRobot等开源框架，研究者正探索如何从高维视觉观测与低维状态动作序列中提取紧凑的表征，以实现对抓取与放置操作的精准模仿。这一方向与具身智能的热点紧密相连，旨在通过离线数据集训练出能适应不同物体构型与初始条件的鲁棒策略，其意义在于为机器人从仿真环境向现实世界迁移提供了关键的数据驱动范式，加速了通用操作技能的自主习得进程。