so101_take_out_gc_pb

这是一个使用LeRobot创建的数据集，包含了50个剧集，共计18444帧，1个任务。数据集以Parquet格式存储，并包含了对应的视频文件。每个文件包含机器人的动作、状态、图像等信息，适用于机器人学相关的研究和应用。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总任务数: 1
• 总回合数: 50
• 总帧数: 18444
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据结构

• 数据格式: Parquet
• 分块大小: 1000
• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 训练集划分: 0:50

数据特征

动作特征

• 数据类型: float32
• 维度: 6
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 数据类型: float32
• 维度: 6
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

腕部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

前部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

通用摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

元数据特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 索引: int64[1]
• 任务索引: int64[1]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so101_take_out_gc_pb数据集通过LeRobot平台系统构建，采用so101_follower型机器人执行单一任务，采集了50个完整交互片段，共计18444帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，辅以同步录制的前置和腕部视角视频，帧率为30fps，确保了时序动作与观察状态的一致性。

特点

该数据集以多模态特性著称，整合了六维关节位置的动作指令与观察状态，涵盖肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置。视频数据提供480x640分辨率的RGB图像，采用AV1编码压缩，无深度信息但保留了高帧率视觉流，同时包含时间戳、帧索引和任务索引等元数据，支持精细的序列分析。

使用方法

研究者可通过加载Parquet格式的数据文件，访问动作、观察状态及视频特征，利用帧索引和片段索引重构任务执行序列。数据集适用于机器人模仿学习与行为克隆研究，视频路径支持直接解码视觉输入，而结构化特征便于训练端到端策略模型，推动自主操作系统的开发。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为实现智能体自主操作的关键范式，持续推动着机械臂控制技术的发展。so101_take_out_gc_pb数据集由HuggingFace团队通过LeRobot平台构建，专门针对SO101型跟随机器人设计，包含50个完整任务片段与18444帧多模态数据。该数据集通过整合关节角度传感器数据与双视角视觉信息，致力于解决机器人从观察中学习动作策略的核心问题，为模仿学习算法在真实场景中的泛化能力提供了重要实验基础。

当前挑战

该数据集需应对机器人操作任务中动作空间连续性与视觉感知对齐的双重挑战，具体体现在六自由度机械臂的轨迹规划需与手腕、前端双视角图像序列保持时空一致性。构建过程中面临多传感器时序同步、大规模视频数据压缩存储等技术难点，同时需确保不同任务片段间动作模式的多样性与数据分布的平衡性，这对模仿学习模型的表征能力和泛化性能提出了更高要求。

常用场景

经典使用场景

在机器人控制领域，so101_take_out_gc_pb数据集通过记录六自由度机械臂的关节位置与多视角视觉数据，为模仿学习算法提供了丰富的训练素材。该数据集捕捉了机械臂执行抓取放置任务时的完整运动轨迹，结合手腕与前置摄像头的实时画面，能够有效支持端到端策略网络的训练过程，推动机器人动作生成技术的精细化发展。

实际应用

基于该数据集训练的模型可广泛应用于工业分拣、物流仓储等自动化场景。其记录的抓取轨迹与视觉反馈能够直接迁移至真实世界的机械臂控制系统，通过模拟人类操作员的动作模式，有效降低复杂环境下机器人编程的调试成本，为智能制造领域的柔性生产提供技术支撑。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于时空注意力的动作分割网络、多传感器融合的模仿学习框架等。这些工作通过挖掘数据集中关节运动与视觉特征的关联性，发展了分层强化学习、跨模态表征对齐等算法，持续推动着具身智能系统在复杂任务中的性能突破。