so101_arm_updown

该数据集由LeRobot创建，采用Apache-2.0许可证，专为机器人学领域设计。数据集包含2个完整的情节，总计771帧，涉及1个任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集结构包括动作和观察状态，其中动作包含6个关节位置（肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹持器位置），观察状态同样包含这6个关节位置。此外，数据集还提供来自两个摄像头（cam_0和cam_1）的视频数据，分辨率为480x640，3通道，编码格式为av1。数据集还包含时间戳、帧索引、情节索引、索引和任务索引等元数据。适用于机器人控制、行为模仿等任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: so101_arm_updown
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 2
• 总帧数: 771
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 30 FPS
• 数据分割: 训练集包含全部2个情节

数据特征

数据以Parquet文件格式存储，路径模式为 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet。 视频以MP4文件格式存储，路径模式为 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。

特征字段

1. 动作

   • 数据类型: float32
   • 形状: [6]
   • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

2. 观测状态

   • 数据类型: float32
   • 形状: [6]
   • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

3. 观测图像 (cam_0)

   • 数据类型: 视频
   • 形状: [480, 640, 3] (高度, 宽度, 通道)
   • 视频信息:
     • 高度: 480
     • 宽度: 640
     • 编解码器: av1
     • 像素格式: yuv420p
     • 是否为深度图: 否
     • 帧率: 30
     • 通道数: 3
     • 包含音频: 否

4. 观测图像 (cam_1)

   • 数据类型: 视频
   • 形状: [480, 640, 3] (高度, 宽度, 通道)
   • 视频信息:
     • 高度: 480
     • 宽度: 640
     • 编解码器: av1
     • 像素格式: yuv420p
     • 是否为深度图: 否
     • 帧率: 30
     • 通道数: 3
     • 包含音频: 否

5. 时间戳

   • 数据类型: float32
   • 形状: [1]

6. 帧索引

   • 数据类型: int64
   • 形状: [1]

7. 情节索引

   • 数据类型: int64
   • 形状: [1]

8. 索引

   • 数据类型: int64
   • 形状: [1]

9. 任务索引

   • 数据类型: int64
   • 形状: [1]

其他信息

• 代码库版本: v3.0
• 机器人类型: so_follower
• 主页: 信息缺失
• 论文: 信息缺失
• 引用信息: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人操作领域，so101_arm_updown数据集依托LeRobot框架构建而成，其数据采集过程模拟了真实机械臂的运动轨迹。该数据集通过记录so_follower型机器人在执行特定任务时的连续状态，将每个时间步的关节位置、图像观测及时间戳等信息结构化存储。数据以Parquet格式分块组织，每块包含若干文件，确保了高效的数据读取与存储管理，同时辅以同步录制的多视角视频流，为机器人学习提供了丰富的时空上下文。

特点

该数据集的核心特征在于其多维度的观测空间与精细的动作标注。观测部分不仅包含六个关节的精确位置反馈，还整合了两个摄像头采集的RGB视频流，分辨率达640x480，帧率为30fps，全面捕捉了机械臂与环境的交互动态。数据集中仅涵盖单一任务，但通过两个完整回合的演示，提供了从初始状态到目标状态的连贯轨迹，适用于模仿学习与策略评估等研究场景。

使用方法

研究者可通过加载数据集的Parquet文件直接访问结构化数据，利用帧索引、回合索引等元数据灵活划分训练集。每个数据样本包含动作向量、状态观测及对应的时间戳，支持端到端的策略学习或行为克隆模型训练。视频数据以MP4格式独立存储，可与状态数据同步解析，用于视觉感知模块的预训练或跨模态对齐研究，为机器人控制算法的开发与验证提供了便捷的实验基础。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习等数据驱动方法正逐渐成为实现复杂机器人操作任务的关键途径。so101_arm_updown数据集作为这一趋势下的产物，由LeRobot项目团队构建，旨在为机器人臂的上下运动控制提供高质量的多模态示范数据。该数据集聚焦于解决机器人臂在真实物理环境中的轨迹规划与执行问题，通过整合关节状态、视觉观测与时间序列信息，为训练端到端的机器人策略模型奠定了数据基础。其采用Apache 2.0开源协议，体现了开放科学的精神，有望推动机器人控制算法的可复现性与泛化能力研究。

当前挑战

该数据集致力于应对机器人臂在动态环境中执行精确上下运动时所面临的挑战，包括高维连续动作空间的探索、多传感器数据（如双视角视觉与关节位置）的时空对齐，以及从有限示范中学习稳健且泛化的控制策略。在构建过程中，团队需克服真实世界数据采集的复杂性，例如确保机械臂运动轨迹的平滑性与安全性，同步处理高帧率视频流与关节状态数据，并以高效压缩格式（如Parquet和AV1编码视频）组织大规模多模态序列，同时维持数据的一致性与可访问性。

常用场景

经典使用场景

在机器人控制领域，so101_arm_updown数据集为机械臂的上下运动任务提供了宝贵的示范数据。该数据集通过记录so_follower型机器人的关节位置、视觉观察和时间戳，为模仿学习算法的训练奠定了坚实基础。研究者能够利用这些多模态数据，构建从视觉输入到关节动作的映射模型，从而让机器人学会执行精确的升降操作。

实际应用

在工业自动化与物流分拣场景中，机械臂的拾放操作是核心环节。so101_arm_updown数据集所蕴含的控制策略，可直接应用于培训机器人完成仓库货品的抓取与放置、生产线上的部件装配等任务。通过基于此数据训练的模型，机器人能够更快速、精准地适应不同高度的工作台，提升作业效率并降低对复杂编程的依赖。

衍生相关工作

围绕该数据集，学术界已衍生出一系列专注于视觉模仿学习与机械臂控制的研究。例如，基于LeRobot框架的改进算法常以此数据集为基准，验证其在多视角视觉信息融合、动作序列预测以及跨任务策略迁移方面的性能。这些工作进一步推动了以数据驱动的机器人技能学习范式的发展，并为构建更通用的机器人操作模型提供了参考。