test-grab-and-place-1

这是一个使用LeRobot创建的机器人数据集，包含64个剧集，共38311帧，1个任务，128个视频和1个片段。数据集以parquet和mp4文件格式存储，包含动作、状态、正面和顶部图像等多种特征。所有数据均按照Apache-2.0许可发布。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so101_follower

数据集结构

• 总集数: 64
• 总帧数: 38311
• 总任务数: 1
• 总视频数: 128
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.images.front:
  • 数据类型: video
  • 形状: [360, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 360
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• observation.images.top:
  • 数据类型: video
  • 形状: [360, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 360
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，test-grab-and-place-1数据集通过LeRobot平台精心构建，采用先进的机器人控制技术记录实际抓取与放置任务。数据集包含64个完整操作序列，共计38,311帧数据，以30fps的帧率采集，确保动作连贯性与时序精确性。数据以Parquet格式分块存储，每块包含1,000帧，同时配备128段同步视频记录，从顶部和正面双视角捕捉机器人执行过程，为研究提供多模态观察维度。

特点

该数据集以SO101型机器人为载体，其显著特征在于完整记录6自由度机械臂的关节位置信息，包括肩部平移/抬升、肘部屈曲、腕部屈曲/旋转及夹爪开合状态。观测数据包含双视角RGB视频流（360×640分辨率），并精确标注时间戳与帧索引。数据结构采用层次化特征组织，动作与状态空间维度严格对应，便于建立端到端模仿学习模型。视频采用AV1编码压缩，在保证视觉质量的同时显著降低存储需求。

使用方法

研究者可通过解析Parquet文件获取结构化动作-观测对，配合视频文件实现多模态训练。数据集默认划分为训练集（全部64个序列），适用于行为克隆、强化学习等算法验证。典型应用流程包括：加载关节位置数据重建机器人运动轨迹，结合视觉观测训练视觉-运动策略网络，或利用时间戳信息进行时序建模。数据路径采用模式化命名，支持通过episode_chunk和episode_index参数快速索引特定操作片段。

背景与挑战

背景概述

test-grab-and-place-1数据集是由LeRobot项目团队构建的机器人操作数据集，专注于机械臂抓取与放置任务的模拟与真实环境数据采集。该数据集基于Apache 2.0开源协议发布，包含64个完整操作序列，共计38311帧多模态数据，涵盖6自由度机械臂的关节状态、双视角视觉观测及时间戳等关键信息。作为机器人学习领域的新型基准数据，其通过标准化动作空间与观测空间的映射关系，为模仿学习与强化学习算法提供了结构化训练资源。数据采集采用SO101型跟随机器人平台，以30Hz频率同步记录机械臂运动轨迹与场景视频，体现了当前机器人操作数据集的典型技术路线。

当前挑战

该数据集面临的核心挑战体现在算法与应用两个维度。在算法层面，多模态时序数据的对齐与融合要求精确的时间同步机制，6自由度机械臂的高维连续动作空间对策略网络的泛化能力提出严峻考验。数据构建过程中，异构图传设备带来的视觉数据时延补偿、机械臂运动学参数标定误差的消除、以及长周期操作任务的轨迹分割等问题，均对数据质量产生直接影响。应用层面，有限的样本规模与单一任务类型（抓取放置）限制了跨任务迁移学习的可行性，而缺乏深度信息与触觉反馈的观测模态，也制约了复杂操作场景下的算法性能上限。

常用场景

经典使用场景

在机器人控制领域，test-grab-and-place-1数据集为研究机械臂抓取与放置任务提供了丰富的实验数据。该数据集通过记录机械臂关节位置、抓取器状态以及多视角视频信息，为算法开发提供了完整的运动轨迹和视觉反馈。研究人员可利用该数据集训练强化学习模型，模拟真实环境中的物体操控过程，探索机械臂在复杂场景下的自适应能力。

实际应用

在工业自动化场景中，该数据集可直接应用于智能分拣系统的开发。基于数据集训练的模型能够指导机械臂完成精密装配、物流分拣等任务，显著提升生产线的柔性与效率。医疗机器人领域也可借鉴其多模态数据融合方法，为手术辅助机械臂的精准控制提供技术参考。

衍生相关工作

该数据集已催生多项机器人学习领域的创新研究，包括基于深度强化学习的抓取策略优化、多传感器融合的物体定位算法等。部分研究团队进一步扩展了数据集的标注维度，开发出适用于不同机械臂架构的迁移学习框架，为开源机器人社区贡献了重要基准。