symmetrical_pick_place

该数据集由LeRobot创建，主要用于机器人技术领域。数据集采用Apache-2.0许可证，包含机器人动作和观察数据。数据集结构包括31个总片段，39683帧，1个总任务，数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据以parquet文件格式存储，视频以mp4格式存储。数据集包含动作和观察特征，动作特征包括6个关节位置（肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部滚动和夹持器位置），观察特征包括机器人状态和来自前视和俯视摄像头的图像。图像分辨率为480x640，3通道，视频编码为av1。数据集还包括时间戳、帧索引、片段索引和任务索引等元数据。

原始信息汇总

数据集概述

基本信息

• 数据集名称: symmetrical_pick_place
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总情节数: 62
• 总帧数: 86885
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 数据块大小: 1000
• 代码库版本: v3.0
• 机器人类型: so_follower
• 数据分割: 训练集 (0:62)

数据文件与路径

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测图像（前视）

• 数据类型: 视频
• 形状: [480, 640, 3]
• 名称: 高度, 宽度, 通道
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: 否
  • 帧率: 30
  • 通道数: 3
  • 包含音频: 否

观测图像（俯视）

• 数据类型: 视频
• 形状: [480, 640, 3]
• 名称: 高度, 宽度, 通道
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: 否
  • 帧率: 30
  • 通道数: 3
  • 包含音频: 否

其他特征

• 时间戳: 数据类型 float32，形状 [1]
• 帧索引: 数据类型 int64，形状 [1]
• 情节索引: 数据类型 int64，形状 [1]
• 索引: 数据类型 int64，形状 [1]
• 任务索引: 数据类型 int64，形状 [1]

可视化

• 数据集可视化空间: https://huggingface.co/spaces/lerobot/visualize_dataset?path=rishgang22/symmetrical_pick_place

引用信息

• 主页: 信息缺失
• 论文: 信息缺失
• BibTeX引用: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建往往依赖于真实物理环境的交互记录。symmetrical_pick_place数据集通过LeRobot平台，在so_follower型机器人上采集了62个完整操作片段，总计86885帧数据。这些数据以30帧每秒的速率录制，并采用分块存储策略，每个数据块包含1000帧，最终以Parquet格式保存，确保了高效的数据读取与处理。视频数据则采用AV1编码，分辨率为640x480，分别从前视和俯视两个视角捕捉，为机器人抓取放置任务提供了多模态的观测信息。

特点

该数据集的核心特点在于其对称性设计，专注于单一的抓取放置任务，但通过双视角视觉输入丰富了环境感知维度。数据集中包含了机器人的六维关节位置作为动作与状态观测，涵盖了肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转以及夹爪开合等关键自由度。此外，时间戳、帧索引、片段索引等元数据被完整记录，支持时序分析与任务分段研究。数据集结构清晰，特征定义明确，为模仿学习与强化学习算法提供了标准化输入。

使用方法

研究人员可通过HuggingFace平台直接访问该数据集，利用其提供的可视化工具预览数据内容。在实际应用中，用户可依据数据路径加载Parquet格式的文件，提取动作、状态及图像特征进行模型训练。由于数据集已划分为训练集，可直接用于训练端到端的机器人控制策略。视频数据可通过指定路径读取，结合动作序列，构建状态-动作对，进而训练视觉运动策略。该数据集适用于机器人操作任务的基准测试，尤其在对称抓取场景下的泛化能力评估中具有重要价值。

背景与挑战

背景概述

在机器人操作领域，模仿学习与强化学习的发展亟需高质量、结构化的真实世界交互数据集。symmetrical_pick_place数据集应运而生，它由LeRobot社区基于开源机器人平台构建，专注于对称性拾放这一基础且具泛化性的操作任务。该数据集收录了62个完整交互片段，涵盖超过八万帧的多模态观测数据，包括机器人关节状态、前视与俯视双视角视频流，旨在为机器人策略学习提供丰富的时空上下文信息。其构建依托于标准化数据管道，体现了社区推动机器人学习研究可复现性与数据共享的愿景，为端到端操作策略的验证与比较奠定了实证基础。

当前挑战

该数据集致力于应对机器人操作中对称性拾放任务的泛化性学习挑战，其核心在于使模型能够从有限演示中理解物体姿态、抓取点与放置目标的几何对称关系，并适应动态环境中的微小扰动。在构建层面，挑战体现在多传感器数据的精确同步与对齐，确保关节状态、视觉帧与时间戳的一致性；同时，大规模视频数据的压缩存储与高效读取需平衡保真度与计算开销。此外，真实机器人交互中存在机械误差与动作噪声，如何清洗并标注高质量示范轨迹，避免累积偏差影响学习效果，亦是数据集构建中的关键难题。

常用场景

经典使用场景

在机器人操作领域，symmetrical_pick_place数据集为模仿学习与强化学习算法的训练提供了关键支持。该数据集记录了机械臂执行对称抓取与放置任务的完整过程，包含关节位置、图像观测及时间戳等多模态数据。研究者通常利用这些数据训练端到端的控制策略，使机器人能够从视觉输入中推断动作序列，实现精准的物体操控。

实际应用

在实际工业与物流场景中，symmetrical_pick_place数据集可直接应用于自动化分拣与装配系统。基于此数据集训练的模型能够部署于机械臂，执行仓库中的货物抓取、生产线上的零件放置等重复性任务。其多视角视觉数据增强了系统在复杂环境中的感知能力，提升了操作精度与自动化水平。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，包括基于Transformer的序列建模方法、视觉-动作联合表示学习框架以及元强化学习算法。这些工作利用数据集的丰富轨迹，探索了多任务学习、领域自适应等前沿方向，进一步拓展了机器人操作技术的理论边界与应用范围。