SO101_LAR_gripper_with_adapter_deep

这是一个用于机器人学任务的 数据集，包含20个剧集，每个剧集中有多个帧，总共10557帧。数据集包含一个任务，20个视频，分为1个块，每个块的大小为1000。数据集的特征包括机器人的动作、观察状态、图像等信息。所有数据以Parquet格式存储，并提供了对应的视频文件。This is a dataset for robotics-related tasks. It contains 20 episodes, each consisting of multiple frames, with a total of 10557 frames. The dataset corresponds to one single task, including 20 videos, which are divided into 1 chunk with a size of 1000. The features of the dataset cover robot actions, observation states, image data and other relevant information. All data is stored in Parquet format, and the corresponding video files are provided.

原始信息汇总

数据集概述

基本信息

• 名称: SO101_LAR_gripper_with_adapter_deep
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot, so101, space, robotics

数据集描述

• 创建工具: LeRobot
• 主页: 未提供
• 论文: 未提供

数据集结构

• 数据文件格式: Parquet
• 配置名称: default
• 数据文件路径: data/*/*.parquet

元数据

• 代码库版本: v2.1
• 机器人类型: so101
• 总片段数: 20
• 总帧数: 10557
• 总任务数: 1
• 总视频数: 20
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 训练集划分: 0:20

数据路径

• 数据路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观测图像 (observation.images.laptop):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 30 fps
    • 通道数: 3
    • 无音频
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 片段索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，SO101_LAR_gripper_with_adapter_deep数据集通过LeRobot平台系统采集，记录了SO101型机械臂执行抓取任务的全过程。该数据集包含20个完整操作片段，总计10557帧数据，以30fps的采样频率捕获机械臂关节运动状态和视觉观测信息，数据以标准化parquet格式分块存储，确保数据结构的完整性和高效访问。

特点

本数据集显著特征体现在多模态数据融合方面，同步提供六维关节动作向量、对应状态观测值及480×640分辨率的RGB视觉流。动作空间涵盖肩部平移、肩部抬升、肘部弯曲、腕部屈伸、腕部旋转和夹爪控制六个自由度，视觉数据采用AV1编码压缩存储，兼具时空连续性与计算效率，为模仿学习与强化学习算法提供丰富训练素材。

使用方法

研究者可通过LeRobot框架直接加载数据集，利用episode_index和frame_index实现精确数据定位。训练时可直接调用observation.images.laptop字段获取视觉输入，结合action字段进行行为克隆或逆动力学建模。数据集已预置训练集划分（0:20），支持端到端的策略学习与验证，适用于机械臂抓取任务的仿真到真实迁移研究。

背景与挑战

背景概述

在机器人操作研究领域，SO101_LAR_gripper_with_adapter_deep数据集代表了太空机器人技术的重要进展。该数据集由HuggingFace的LeRobot团队基于Apache 2.0许可证构建，专注于SO101型太空机械臂的抓取操作任务。数据集包含20个完整操作序列，共计10557帧高精度运动数据，记录了六自由度机械臂的关节运动参数和视觉观测信息。这类数据集对于开发在微重力环境下具有精确操作能力的太空机器人系统具有重要价值，为机器学习模型提供了真实的空间操作训练样本。

当前挑战

该数据集致力于解决太空环境下机器人精细操作的核心难题，特别是机械臂在适配器连接过程中的精准抓取与定位问题。构建过程中面临多重挑战：需要精确同步多模态数据流，包括关节运动参数、高帧率视觉信息和时间戳数据；确保在太空模拟环境中数据采集的稳定性和一致性；处理大规模视频数据的高效存储与检索，同时保持数据质量与标注精度。这些挑战直接关系到模型在真实太空任务中的泛化能力和可靠性。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录六自由度机械臂的关节运动轨迹与视觉观测数据，为模仿学习算法提供了高质量的示范样本。研究者可利用其多模态特征训练端到端的策略网络，使机械臂能够复现人类演示的抓取动作，特别适用于带有适配器的精密抓取任务场景。

解决学术问题

该数据集有效解决了机器人操作任务中示范数据稀缺性问题，为行为克隆、逆强化学习等算法提供了标准化评估基准。其精确的时间同步机制和丰富的传感器模态支持了多模态融合表征学习的研究，显著提升了机械臂在复杂环境下操作策略的泛化能力与稳定性。

衍生相关工作

基于该数据集衍生了多项机器人操作领域的创新研究，包括基于时空注意力机制的演示学习框架、多视角视觉运动表征对齐方法等。这些工作显著推动了端到端操作策略的性能边界，为后续大规模机器人数据集构建提供了标准化范式与技术参考。