so101_sample_black

这是一个关于机器人学的数据集，使用LeRobot工具创建。数据集包含20个剧集，共9454帧，分为一个任务。数据以Parquet文件格式存储，并伴有相应的MP4视频文件。数据集的特征包括机器人的行动位置、状态、主副视角图像等信息，帧率为30fps。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总情节数: 20
• 总帧数: 9454
• 总任务数: 1
• 数据块大小: 1000
• 帧率: 30 fps
• 数据分割: 训练集 (0:20)

存储信息

• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 数据文件格式: parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据结构特征

动作特征

• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
• 帧率: 30 fps

观测状态特征

• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
• 帧率: 30 fps

图像观测特征

主摄像头图像:

• 数据类型: 视频
• 分辨率: 720×1280×3
• 视频编码: av1
• 像素格式: yuv420p
• 帧率: 30 fps
• 深度图: 否
• 音频: 无

次摄像头图像:

• 数据类型: 视频
• 分辨率: 720×1280×3
• 视频编码: av1
• 像素格式: yuv420p
• 帧率: 30 fps
• 深度图: 否
• 音频: 无

索引特征

• 时间戳: float32, 维度[1], 30 fps
• 帧索引: int64, 维度[1], 30 fps
• 情节索引: int64, 维度[1], 30 fps
• 数据索引: int64, 维度[1], 30 fps
• 任务索引: int64, 维度[1], 30 fps

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so101_sample_black数据集通过LeRobot框架系统性地采集了20个完整任务片段，涵盖9454帧数据。构建过程采用分块存储策略，以1000帧为单元将数据组织成Parquet格式文件，确保高效存取。数据采集频率设定为30 fps，同步记录机器人关节状态与双视角视觉信息，为机器人控制研究提供了结构化的多模态数据基础。

特点

该数据集在机器人操作任务中展现出显著的多模态特性，整合了六维关节动作指令与对应的状态观测数据，同时配备主副双摄像头采集的720p高清视频流。数据维度设计严谨，动作与状态特征均以浮点型数组呈现，视觉数据采用AV1编码压缩以平衡质量与存储效率。数据集整体规模达600MB，兼具丰富内容与可管理性，适用于复杂机器人行为分析。

使用方法

研究者可通过标准数据加载接口直接读取Parquet格式的片段文件，利用帧索引与时间戳实现精确数据对齐。训练集覆盖全部20个任务片段，支持端到端机器人策略学习。多模态数据流可分别提取关节空间轨迹与视觉特征，其30Hz同步采样特性便于构建时序预测模型。数据分块机制允许分布式处理，显著提升大规模机器人学习任务的执行效率。

背景与挑战

背景概述

so101_sample_black数据集作为机器人技术领域的重要数据资源，由HuggingFace的LeRobot项目构建，专注于解决机器人动作控制与状态观测的核心问题。该数据集通过记录六自由度机械臂的关节位置与多视角视觉信息，为机器人模仿学习与行为预测研究提供了结构化实验数据。其设计融合了实时动作指令与高分辨率视觉观测，体现了当前机器人学中感知-控制闭环系统的研究趋势，对推动自主机器人行为泛化能力具有显著意义。

当前挑战

该数据集致力于解决机器人动作规划与视觉感知协同优化的领域挑战，需在复杂环境中实现机械臂轨迹的精确复现与多模态数据对齐。构建过程中面临多传感器时序同步、高维动作空间的数据采集一致性，以及大规模视频数据存储与处理的工程难题，同时需保证不同观测视角间空间标定的准确性。

常用场景

经典使用场景

在机器人学习领域，so101_sample_black数据集作为LeRobot框架下的标准资源，主要应用于模仿学习算法的训练与验证。该数据集通过记录六自由度机械臂的关节位置与双视角视觉信息，为研究端到端策略学习提供了完整的动作-观测序列。其30Hz高频率采样特性使得动态行为建模能够捕捉细微的操作轨迹，特别适用于分析连续控制任务中状态转移的时序依赖性。

解决学术问题

该数据集有效解决了机器人模仿学习中多模态感知与运动控制的耦合难题。通过同步记录关节空间状态与视觉观测，研究者能够深入探索感知-动作映射关系的建模机制。其结构化数据格式为验证分层强化学习、行为克隆等算法提供了基准，显著推进了在未知环境中机器人动作泛化能力的研究进程，填补了真实世界机器人操作数据集的空白。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于时空注意力的行为预测模型和跨模态表示学习框架。研究者利用其丰富的动作-视觉对应关系，开发出能够同时处理关节约束与视觉语义的混合神经网络架构。这些工作进一步推动了元强化学习在机械臂操控任务中的应用，为构建适应动态环境的智能体奠定了数据基础。