so101_paper

该数据集使用LeRobot创建，包含10个剧集，2811个画面，1个任务和20个视频。数据集的结构包括动作和观察特征，如肩部、肘部和手腕的位置，以及固定和手眼摄像机图像。所有视频均为30fps，没有音频，格式为av1编码的yuv420p。数据集以Apache-2.0许可证发布。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 数据文件格式: parquet
• 配置名称: default
• 数据文件路径: data//.parquet

元数据信息

• 代码库版本: v2.1
• 机器人类型: so101_follower
• 总集数: 10
• 总帧数: 2811
• 总任务数: 1
• 总视频数: 20
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 训练集划分: 0:10

数据路径

• 数据路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作特征:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测状态特征:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 固定图像观测:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 30 fps
    • 通道数: 3
    • 无音频
• 手眼图像观测:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 30 fps
    • 通道数: 3
    • 无音频
• 时间戳:
  • 数据类型: float32
  • 形状: [1]
• 帧索引:
  • 数据类型: int64
  • 形状: [1]
• 集索引:
  • 数据类型: int64
  • 形状: [1]
• 索引:
  • 数据类型: int64
  • 形状: [1]
• 任务索引:
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so101_paper数据集通过LeRobot平台精心构建，采用先进的实验设备so101_follower机器人采集数据。数据集包含10个完整任务片段，总计2811帧图像数据，以30fps的帧率记录机器人执行任务过程中的多模态信息。数据以分块形式存储，每块包含1000帧，采用parquet格式高效组织，同时配套20段视频文件完整呈现机器人操作过程。

特点

该数据集显著特点在于其多维度的机器人状态记录，不仅包含6自由度机械臂的关节位置信息，还同步采集了固定视角和手眼相机双路视频数据。480×640分辨率的RGB视频流采用av1编码，确保视觉数据质量的同时优化存储效率。数据集严格标注了时间戳、帧索引和任务索引，为机器人动作分析与视觉感知研究提供精准对齐的多模态数据源。

使用方法

研究者可通过解析parquet文件获取结构化机器人动作与状态数据，配合视频文件进行多模态分析。数据路径采用模板化设计，便于程序化访问不同片段。该数据集特别适用于机器人模仿学习、动作规划等研究，通过加载指定episode_index可获取完整任务序列，帧级时间戳确保时序分析的准确性。使用前需配置相应视频解码环境以处理av1编码格式。

背景与挑战

背景概述

so101_paper数据集由LeRobot项目团队创建，专注于机器人技术领域的研究与应用。该数据集旨在为机器人控制与行为学习提供高质量的多模态数据支持，涵盖了机械臂的关节位置、视觉观察等多维度信息。通过记录so101_follower型机器人的操作数据，该数据集为机器人模仿学习、强化学习等算法提供了宝贵的实验资源。其采用Apache-2.0开源协议，体现了开放共享的科学精神，对推动机器人智能化研究具有重要价值。

当前挑战

该数据集面临的挑战主要体现在两个方面：在领域问题层面，如何准确捕捉机器人动作与视觉观察的复杂关联性，以及如何解决高维连续动作空间下的控制精度问题；在构建过程层面，数据同步与多模态对齐的技术难题、大规模视频数据的高效存储与检索，以及实时数据采集过程中的噪声抑制，都是需要克服的关键挑战。

常用场景

经典使用场景

在机器人控制领域，so101_paper数据集为研究者提供了一个丰富的实验平台，主要用于模拟和测试机械臂的运动控制算法。该数据集包含了机械臂的关节位置、动作状态以及多视角的视频数据，能够支持从基础运动规划到复杂任务执行的各类研究。通过该数据集，研究者可以深入分析机械臂在动态环境中的行为表现，优化控制策略。

解决学术问题

so101_paper数据集为解决机器人运动控制中的关键学术问题提供了重要支持。例如，它能够帮助研究者验证新型控制算法在真实场景中的有效性，解决机械臂运动规划中的高维度状态空间问题。此外，数据集中的多模态数据（如视频和状态信息）为跨模态学习研究提供了宝贵资源，推动了机器人感知与控制一体化的发展。

衍生相关工作

基于so101_paper数据集，研究者们已经开展了一系列经典工作。例如，有研究利用该数据集开发了基于深度强化学习的机械臂控制算法，显著提升了机械臂在复杂环境中的适应性。此外，还有一些工作聚焦于多模态数据融合，通过结合视频和状态信息，实现了更高效的机器人感知与决策系统。