eval_so101_bimanual_record_2

该数据集使用LeRobot创建，与机器人技术相关。包含来自bi_so101_follower机器人的动作和观察数据，包括关节位置、两个摄像头的图像以及各种索引。数据集结构详细记录了数据类型、形状和视频规格等元数据。

原始信息汇总

数据集概述

基本信息

• 数据集名称: eval_so101_bimanual_record_2
• 任务类别: 机器人学
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总情节数: 1
• 总帧数: 442
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500000 MB
• 帧率: 30 FPS
• 数据分割: 训练集 (0:1)

数据结构与特征

数据以Parquet文件格式存储，路径模式为 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet。 视频以MP4文件格式存储，路径模式为 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。

特征字段

1. 动作

   • 数据类型: float32
   • 形状: [12]
   • 描述: 包含左右机械臂各6个关节的位置指令。
     • 左机械臂: left_shoulder_pan.pos, left_shoulder_lift.pos, left_elbow_flex.pos, left_wrist_flex.pos, left_wrist_roll.pos, left_gripper.pos
     • 右机械臂: right_shoulder_pan.pos, right_shoulder_lift.pos, right_elbow_flex.pos, right_wrist_flex.pos, right_wrist_roll.pos, right_gripper.pos

2. 观测状态

   • 数据类型: float32
   • 形状: [12]
   • 描述: 包含左右机械臂各6个关节的观测位置，字段名与“动作”特征完全相同。

3. 观测图像 (camera1)

   • 数据类型: video
   • 形状: [480, 640, 3] (高度，宽度，通道)
   • 视频信息:
     • 编码: av1
     • 像素格式: yuv420p
     • 非深度图
     • 帧率: 30 FPS
     • 通道: 3
     • 无音频

4. 观测图像 (camera2)

   • 数据类型: video
   • 形状: [480, 640, 3] (高度，宽度，通道)
   • 视频信息: 与 camera1 完全相同。

5. 时间戳

   • 数据类型: float32
   • 形状: [1]

6. 帧索引

   • 数据类型: int64
   • 形状: [1]

7. 情节索引

   • 数据类型: int64
   • 形状: [1]

8. 索引

   • 数据类型: int64
   • 形状: [1]

9. 任务索引

   • 数据类型: int64
   • 形状: [1]

元数据

• 代码库版本: v3.0
• 机器人类型: bi_so101_follower

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX引用格式: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学领域，数据集的构建往往依赖于实际机器人平台的交互记录。eval_so101_bimanual_record_2数据集便是通过LeRobot框架，在双手机器人系统上采集的。该数据集以Parquet格式存储，包含一个完整的任务执行序列，总计442帧数据，采样频率为30赫兹。其构建过程系统性地记录了机器人左右机械臂各六个关节的位置信息、双摄像头视觉观测以及时间戳等元数据，形成了结构化且可扩展的数据组织形式。

特点

该数据集的核心特征在于其多模态与高维度的数据表征。它不仅提供了机器人双臂12个关节的精确位置状态与动作指令，还同步采集了两个视角的RGB视频流，分辨率均为640x480。这种状态-动作-视觉的同步对齐，为模仿学习与强化学习算法提供了丰富的训练信号。数据以分块形式组织，支持高效流式加载，且所有特征均具有明确的形状与数据类型定义，确保了数据的一致性与可复用性。

使用方法

对于研究者而言，该数据集可直接用于机器人技能学习模型的训练与评估。通过LeRobot或兼容的数据加载工具，用户可以按帧索引访问关节状态、动作及对应的视觉观测。数据集仅包含训练分割，适用于端到端的策略学习或行为克隆。在使用时，需注意其数据规模相对较小，包含单一任务的一次演示，因此更适合作为验证集或用于特定任务的微调研究。

背景与挑战

背景概述

eval_so101_bimanual_record_2数据集隶属于机器人学领域，专注于双手机器人操作任务的数据收集与评估。该数据集由LeRobot项目团队创建，依托Apache 2.0开源许可发布，旨在为机器人模仿学习与行为克隆提供高质量的真实世界交互数据。其核心研究问题聚焦于如何通过多模态观测数据，包括双机械臂的关节位置状态与多视角视觉信息，来训练机器人执行复杂的双手协调任务，从而推动机器人自主操作能力的发展，对提升工业自动化与家庭服务机器人的实用性具有潜在影响力。

当前挑战

该数据集旨在解决机器人模仿学习中双手机器人操作任务的挑战，其核心问题在于如何从高维感官输入中学习精确且鲁棒的控制策略，以应对动态环境中的物体抓取、放置等精细操作。在构建过程中，数据集面临数据采集的复杂性挑战，例如需同步记录双机械臂的12维关节动作与多路高清视频流，确保时序对齐与数据一致性；同时，大规模视频数据的存储与处理（如500GB视频文件）对计算资源与编码效率提出了较高要求，这些因素共同构成了数据集构建的技术瓶颈。

常用场景

经典使用场景

在机器人学领域，双手机器人操作任务因其复杂性和实用性而备受关注。eval_so101_bimanual_record_2数据集记录了双手机器人执行特定任务时的关节位置、图像观测及时间序列数据，为研究双手机器人协同控制提供了经典范例。该数据集常用于训练和评估模仿学习或强化学习模型，使机器人能够从人类演示中学习精细的双臂协调动作，实现诸如物体抓取、装配等复杂操作。

解决学术问题

该数据集有效解决了双手机器人操作中动作规划与状态估计的学术难题。通过提供高维度的关节位置数据和多视角视觉信息，研究者能够深入探究双臂运动的同步性、避碰策略以及环境感知的融合机制。其意义在于为机器人学习算法提供了真实世界的基准测试平台，推动了从仿真到实际应用的过渡，促进了机器人自主操作能力的理论突破与技术演进。

衍生相关工作

围绕该数据集，衍生出多项经典研究工作，主要集中在机器人模仿学习与多模态感知融合领域。例如，基于LeRobot框架的后续研究利用此类数据开发了端到端的策略网络，实现了从视觉输入到关节动作的直接映射。这些工作不仅优化了双手机器人的动作生成效率，还拓展了跨任务泛化能力，为机器人学习社区提供了可复现的算法基准与模型架构参考。