so101_test_1

这是一个使用LeRobot创建的机器人数据集，包含90个剧集，总共59530帧，专注于1个任务。数据集以Apache-2.0许可发布，提供了包括动作、观察状态、手眼图像和固定图像等在内的多种特征。数据集包含Parquet格式的数据文件和MP4格式的视频文件，帧率为30fps。

This is a robotic dataset developed using LeRobot, consisting of 90 episodes with a total of 59,530 frames and focusing on a single task. It is released under the Apache-2.0 license, and provides multiple modalities including actions, observation states, eye-in-hand images, fixed-position images and more. The dataset contains Parquet-formatted data files and MP4-formatted video files, with a frame rate of 30 fps.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总任务数: 1
• 总回合数: 90
• 总帧数: 59530
• 帧率: 30 FPS
• 数据切分: 训练集 (0:90)

存储信息

• 数据文件格式: Parquet
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 分块大小: 1000
• 代码库版本: v3.0

数据特征结构

动作特征

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测:

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测: handeye摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 音频: 无
• 深度图: 否

fixed摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 音频: 无
• 深度图: 否

索引特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 回合索引: int64 [1]
• 数据索引: int64 [1]
• 任务索引: int64 [1]

机器人信息

• 机器人类型: so101_follower

文件路径格式

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so101_test_1数据集通过LeRobot平台系统性地构建而成，涵盖了90个完整任务片段，总计59,530帧数据。数据以分块形式存储于Parquet文件中，每块包含1,000帧，确保了高效的数据管理和访问。采集过程中，机器人状态与动作信息被精确记录，同时整合了多视角视觉数据，为机器人学习任务提供了全面的实验基础。

特点

该数据集在机器人控制领域展现出显著的多模态特性，不仅包含六维关节位置的动作与状态数据，还融合了固定视角和手眼相机的高清视频流，分辨率达640x480像素。数据以30帧每秒的速率采集，总规模达600MB，涵盖丰富的时空动态信息。其结构化特征设计便于模型训练，支持从低级控制到高级感知的多样化研究需求。

使用方法

研究者可通过加载Parquet格式的数据文件直接访问数据集，利用预定义的特征结构解析机器人状态、动作及视觉观测。训练集覆盖全部90个任务片段，适用于端到端模仿学习或强化学习算法开发。视频数据以MP4格式存储，配合时间戳与帧索引可实现精准的时序对齐，为复杂行为分析与策略验证提供可靠支撑。

背景与挑战

背景概述

机器人操作领域长期致力于开发能够适应动态环境的智能体，so101_test_1数据集作为LeRobot项目的重要组成部分，聚焦于机械臂轨迹学习与视觉感知的协同研究。该数据集通过记录六自由度机械臂的关节位置、夹持器状态及多视角视觉数据，构建了包含90个完整任务序列的交互式环境。其采用Apache 2.0开源协议的特性，显著促进了机器人模仿学习与强化学习算法的标准化进程，为具身智能研究提供了结构化程度高、时空对齐精准的基准数据资源。

当前挑战

在机器人操作任务泛化方面，该数据集需解决从有限演示样本中提取可迁移策略的核心难题，特别是面对未知物体姿态变化时的动作适应性挑战。数据构建过程中面临多模态时序对齐的技术瓶颈，需确保30帧率下机械臂状态数据与双路视觉流（手眼相机与固定视角）的严格同步。此外，高维动作空间中的连续控制精度要求与视觉观测的语义理解深度，共同构成了算法开发的实质性障碍。

常用场景

经典使用场景

在机器人控制领域，so101_test_1数据集通过记录机械臂关节位置与多视角视觉数据，为模仿学习算法提供了丰富的训练素材。其包含的90个完整任务轨迹与59530帧时序数据，能够有效支撑机器人从观察中学习动作策略的研究，尤其适用于基于视觉的端到端控制模型开发。

衍生相关工作

基于该数据集特性，学术界衍生出多模态融合的模仿学习框架，如结合逆运动学的视觉伺服控制方法。其标准化的数据格式与LeRobot平台的兼容性，进一步催生了面向机械臂操作的基准测试体系，推动了机器人学习领域的标准化进程。

数据集最近研究

最新研究方向

在机器人操作学习领域，so101_test_1数据集凭借其多模态观测与关节控制数据，正推动模仿学习与视觉运动策略的前沿探索。当前研究聚焦于从手眼相机与固定视角的双路视觉输入中提取时空特征，结合六自由度机械臂的连续动作序列，构建端到端的决策模型。随着具身智能研究热潮的兴起，该数据集为探索复杂环境下的动作泛化、多任务迁移学习提供了关键实验基础，其标准化数据格式与LeRobot生态的深度集成，进一步加速了机器人开放知识体系的构建进程。