so101-point-cat-figurine

这是一个关于机器人学的数据集，包含50个剧集，共6885帧，专注于一个任务。数据集以Parquet文件格式存储，并提供了对应的视频文件。数据集包含了多种特征，如机器人的动作、状态、手腕、前部、左侧的图像信息等。该数据集适用于机器人学相关的研究和开发。

原始信息汇总

数据集概述

基本信息

• 名称: so101-point-cat-figurine
• 任务类别: 机器人技术
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot

数据集规模

• 总情节数: 50
• 总帧数: 6885
• 总任务数: 1
• 数据块大小: 1000
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据结构

数据分割

• 训练集: 0-50

特征描述

动作特征

• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
• 帧率: 30 FPS

观测状态

• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
• 帧率: 30 FPS

图像观测

手腕摄像头图像:

• 数据类型: 视频
• 分辨率: 1080×1920×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 深度图: 否
• 音频: 无

前置摄像头图像:

• 数据类型: 视频
• 分辨率: 1080×1920×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 深度图: 否
• 音频: 无

左侧摄像头图像:

• 数据类型: 视频
• 分辨率: 1080×1920×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 深度图: 否
• 音频: 无

索引特征

• 时间戳: float32, 形状[1], 30 FPS
• 帧索引: int64, 形状[1], 30 FPS
• 情节索引: int64, 形状[1], 30 FPS
• 索引: int64, 形状[1], 30 FPS
• 任务索引: int64, 形状[1], 30 FPS

文件结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 数据格式: Parquet + MP4

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建方式直接影响其应用价值。该数据集通过LeRobot平台采集，记录了50个完整操作片段，涵盖6885帧数据，以30帧每秒的速率捕捉机械臂的六维关节位置信息。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保高效存取与处理。

特点

本数据集的特点在于其多维度的观测信息，不仅包含机械臂的关节状态与动作指令，还整合了来自腕部、前部和左侧三个视角的高清视频流。视频分辨率为1080x1920，采用AV1编码，提供了丰富的视觉上下文。数据结构的统一性使得动作与观测能够精确对齐，为机器人控制研究提供了可靠基础。

使用方法

针对机器人学习任务，该数据集可直接用于训练端到端控制模型。研究者可通过加载Parquet文件访问结构化数据，结合视频路径调用视觉信息。数据集已预设训练集划分，支持从帧索引到任务层级的灵活检索，适用于模仿学习、强化学习等多种算法验证场景。

背景与挑战

背景概述

在机器人操作学习领域，高质量示范数据的稀缺性长期制约着模仿学习算法的进展。so101-point-cat-figurine数据集由HuggingFace的LeRobot团队构建，专门针对六自由度机械臂的物体抓取任务设计。该数据集通过集成多视角视觉观测与关节运动轨迹，为机器人动作预测模型提供了包含6885帧时序数据的完整交互记录。其结构化存储的关节位置参数与三路高清视频流，显著提升了动态环境下机器人操作策略的学习效率。

当前挑战

该数据集致力于解决机器人视觉运动控制中的动作映射难题，需从多模态观测数据中精确推导关节运动指令。在构建过程中面临多传感器时序对齐的技术挑战，需确保30Hz采样频率下机械臂状态数据与三路1080p视频帧的严格同步。数据规模受限亦是核心问题，仅50条示范轨迹难以覆盖物体抓取任务的全部物理状态空间，这对模型的泛化能力提出严峻考验。

常用场景

经典使用场景

在机器人操作领域，so101-point-cat-figurine数据集为机械臂控制策略的验证提供了关键支持。该数据集记录了六自由度机械臂执行抓取任务的完整轨迹，包含关节位置、夹爪状态及多视角视觉数据，常用于训练模仿学习模型。研究者可利用其高精度动作序列和同步视觉反馈，构建端到端的机器人控制网络，实现从感知到执行的闭环决策。

解决学术问题

该数据集有效解决了机器人模仿学习中动作表征与视觉感知的耦合难题。通过提供精确的关节空间轨迹与多视角图像序列，支持研究者在动态环境中建模机械臂的运动策略。其结构化数据格式显著降低了复杂任务的动作规划难度，为验证分层强化学习、视觉伺服控制等算法提供了标准化测试平台，推动了机器人自主操作的理论发展。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，例如基于时空注意力的动作预测模型、多模态感知的抓取姿态生成网络等。研究者通过融合其关节运动数据与视觉特征，开发出具有泛化能力的操作策略生成框架。这些工作进一步衍生出适用于动态环境的自适应控制算法，为构建通用机器人操作系统奠定了数据基础。