so101_sample_white

这是一个关于机器人任务的数据集，包含20个剧集，共13948帧。数据集专注于一种机器人类型：so101_follower。每个剧集被分割成数据块，每个数据块包含1000帧。数据集的特征包括机器人的动作和状态，以及主副两个视角的图像信息。所有数据以Apache-2.0许可发布。

原始信息汇总

数据集概述

基本信息

• 数据集名称: dtakehara/so101_sample_white
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 相关标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总回合数: 20
• 总帧数: 13948
• 总任务数: 1
• 数据分块大小: 1000
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据结构

数据划分

• 训练集: 全部20个回合

数据特征

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
• 帧率: 30 FPS

观测状态

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
• 帧率: 30 FPS

图像观测

主摄像头图像

• 名称: observation.images.main
• 数据类型: 视频
• 分辨率: 720×1280×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 非深度图
• 无音频

次摄像头图像

• 名称: observation.images.secondary_0
• 数据类型: 视频
• 分辨率: 720×1280×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 非深度图
• 无音频

元数据特征

• 时间戳: float32, 形状[1], 30 FPS
• 帧索引: int64, 形状[1], 30 FPS
• 回合索引: int64, 形状[1], 30 FPS
• 索引: int64, 形状[1], 30 FPS
• 任务索引: int64, 形状[1], 30 FPS

文件结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 数据格式: Parquet + MP4

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so101_sample_white数据集通过LeRobot框架系统构建，采用SO101跟随机器人采集真实操作数据。该数据集包含20个完整任务片段，总计13948帧，以30帧每秒的速率记录，数据以分块Parquet文件形式存储，每块约1000帧，确保高效访问与处理。构建过程注重多模态信息整合，同步捕获机器人关节状态与视觉观测，为机器人学习研究提供结构化基础。

特点

该数据集在机器人操作任务中展现出丰富特征，涵盖六维动作空间与对应状态观测，包括肩部平移、升降及肘腕关节位置等关键参数。视觉数据方面，提供主次双视角720p高清视频流，采用AV1编码压缩，支持RGB三通道信息，无音频内容。数据集结构清晰，通过时间戳、帧索引与任务索引实现精准时序对齐，总数据量达600MB，兼顾存储效率与信息完整性，适用于复杂机器人行为分析。

使用方法

研究人员可通过HuggingFace平台直接加载该数据集，利用标准数据加载器解析Parquet格式文件。使用时应关注数据分割配置，训练集涵盖全部20个任务片段，支持按块索引动态读取。典型应用场景包括模仿学习与强化学习算法开发，可通过帧索引关联动作指令与多视角视觉输入，结合30Hz时序特性构建状态动作序列。数据预处理需注意关节位置数值归一化与视频解码参数配置，确保与主流机器人仿真环境兼容。

背景与挑战

背景概述

机器人学习领域近年来对大规模示范数据的需求日益增长，so101_sample_white数据集应运而生。该数据集由HuggingFace的LeRobot项目构建，专门针对六自由度机械臂的轨迹学习问题。通过记录机械臂关节位置状态与双视角视觉观测数据，该数据集为模仿学习与强化学习算法提供了多模态交互序列。其包含20个完整任务片段与近1.4万帧数据，以30Hz采样频率精准捕捉了机械臂末端执行器的运动轨迹，为机器人动作泛化研究奠定了数据基础。

当前挑战

在机器人动作学习领域，该数据集需解决高维连续动作空间中的轨迹泛化难题。构建过程中面临多传感器时序对齐的技术挑战，需确保六维关节编码器数据与双路720P视频流保持严格同步。数据存储方面，原始视频数据量达500MB而特征数据仅100MB，这种异构数据分布对存储效率与读取速度提出更高要求。此外，机械臂运动学约束与视觉观测视角差异进一步增加了动作-感知关联建模的复杂度。

常用场景

经典使用场景

在机器人学习领域，so101_sample_white数据集主要用于模仿学习算法的开发与验证。该数据集记录了机械臂执行任务时的完整运动轨迹，包含关节位置状态和双视角视觉观测，为研究端到端的机器人控制策略提供了丰富样本。通过30帧/秒的高频采样，能够精确捕捉机械臂从初始状态到目标姿态的连续动态变化过程。

实际应用

在实际工业场景中，该数据集支持机械臂的自主操作技能学习。基于数据驱动的控制策略能够适应不同的工件抓取、装配等任务需求，降低传统编程示教的人力成本。双摄像头视角的视觉信息为复杂环境下的物体定位与姿态估计提供了可靠输入，使得机器人能够在不依赖精确模型的情况下完成精细操作任务。

衍生相关工作

围绕该数据集衍生的研究工作主要集中在行为克隆与逆强化学习领域。研究者利用其高质量的动作-状态对应关系，开发了多种基于深度神经网络的控制策略模型。这些工作不仅验证了模仿学习在真实机器人任务中的可行性，还推动了多模态感知与运动规划相结合的端到端学习框架的创新。