lerobot_test_028

这是一个机器人任务数据集，用于模拟机器人在Isaac Sim环境中执行拾取咖啡杯的任务。数据集包含了100个视频片段，每个视频分辨率为640x480，帧率为30fps，并且提供了前视和手腕位置的摄像头视角。数据集按照Apache-2.0协议开源。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 创建工具: LeRobot

数据集描述

• 环境: isaac sim
• 任务: "pickup the coffee cup"
• 视频分辨率: 640 x 480
• 帧率: 30 fps
• 摄像头位置: front, wrist
• 总集数: 100 episodes

数据集结构

• 配置文件: default
• 数据文件: data//.parquet

元数据信息 (meta/info.json)

• 代码库版本: v2.1
• 机器人类型: ps_a_03_500_client
• 总集数: 50
• 总帧数: 39543
• 总任务数: 1
• 总视频数: 100
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据分割:
  • 训练集: "0:50"
• 数据路径: "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet"
• 视频路径: "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4"

特征描述

• action:
  • 数据类型: float32
  • 形状: [7]
  • 名称: joint_1.pos, joint_2.pos, joint_3.pos, joint_4.pos, joint_5.pos, joint_6.pos, gripper_status
• observation.state:
  • 数据类型: float32
  • 形状: [7]
  • 名称: joint_1.pos, joint_2.pos, joint_3.pos, joint_4.pos, joint_5.pos, joint_6.pos, gripper_status
• observation.images.wrist:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• observation.images.front:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息: 同 observation.images.wrist
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，lerobot_test_028数据集通过Isaac Sim仿真环境精心构建，专注于"拾取咖啡杯"这一特定任务。该数据集采集了100个完整操作序列，以30fps的帧率记录了640x480分辨率的双视角视频数据（腕部摄像头和正面摄像头），并采用Apache-2.0开源协议进行共享。数据以Parquet格式存储，包含39,543帧动作-观测对，每个episode被分割为1,000帧的chunk单元，确保了数据组织的模块化和高效性。

特点

该数据集最显著的特点是包含多模态机器人操作数据，既包含7自由度的关节位置和夹爪状态等低维控制信号，又整合了双视角的视觉观测信息。所有动作和状态数据均以float32格式存储，视频数据采用AV1编解码器压缩，保持了YUV420p的像素格式。数据结构的精心设计体现在特征字段的层次化命名（如observation.images.wrist）和详尽的元数据描述，为模仿学习与强化学习算法提供了丰富的训练信号。

使用方法

使用者可通过解析Parquet文件获取结构化数据，其中data_path字段指明了数据存储路径格式。视频数据存储在独立MP4文件中，可通过video_path模板定位。数据集已预分为训练集（前50个episode），每个数据样本包含时间戳、帧索引等时序标识。研究人员可结合关节状态、视觉观测和动作指令，开发机器人抓取任务的感知-控制算法，或利用双视角视频数据进行跨模态表示学习。

背景与挑战

背景概述

lerobot_test_028数据集由HuggingFace的LeRobot项目团队创建，旨在推动机器人操作任务的研究与发展。该数据集专注于模拟环境中的物体抓取任务，具体为“拾取咖啡杯”这一典型操作场景。通过Isaac Sim环境生成，数据集包含100个独立片段，视频分辨率为640x480，帧率为30fps，并配备了前视和腕部双视角摄像头。数据集的构建体现了机器人控制与计算机视觉的交叉研究需求，为机器人学习算法的训练与验证提供了高质量的多模态数据。

当前挑战

该数据集面临的挑战主要集中在两个方面：领域问题的挑战在于机器人操作任务的高精度要求，如何从视觉输入中准确识别目标物体并规划机械臂运动轨迹仍是一个开放性问题；构建过程中的挑战涉及多模态数据的同步采集与标注，特别是在模拟环境中确保物理引擎与视觉传感器的时间对齐，以及处理大规模视频数据的高效存储与检索。此外，数据集目前缺乏详细的创建背景和引用信息，可能影响其在学术研究中的可追溯性。

常用场景

经典使用场景

在机器人操作任务的研究中，lerobot_test_028数据集为模拟环境下的抓取动作提供了丰富的实验数据。其经典使用场景包括训练和评估机器人执行“拾取咖啡杯”等精细操作任务的能力，通过多视角视频数据和高精度关节状态记录，为算法开发提供了详实的基准。

解决学术问题

该数据集有效解决了机器人操作任务中动作规划与视觉感知协同优化的关键问题。通过提供包含关节位置、夹爪状态及多视角视频的时序数据，研究者能够深入分析机械臂运动轨迹与视觉反馈的映射关系，为模仿学习与强化学习算法提供了标准化测试平台。

衍生相关工作

围绕该数据集衍生的研究主要集中在多模态感知融合领域。典型工作包括基于时空特征的抓取动作预测模型、结合视觉与关节数据的端到端操作策略生成框架，以及利用迁移学习将仿真环境训练结果迁移至实体机器人的跨域适应方法。