so101_pick_cup1

这是一个关于机器人学的数据集，包含了5个总的剧集，760个总帧数，1个任务，10个视频和1个数据块。数据集提供了机器人的动作、状态、手腕和区域图像等信息，所有数据以Parquet格式存储，并伴有对应的视频文件。数据集的许可为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 数据集创建工具: LeRobot

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 代码库版本: v2.1
• 机器人类型: so101_follower
• 总集数: 5
• 总帧数: 760
• 总任务数: 1
• 总视频数: 10
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集 (0:5)

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.images.wrist:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• observation.images.area:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，so101_pick_cup1数据集通过LeRobot平台精心构建，采用先进的Parquet格式存储数据。该数据集包含5个完整操作片段，共计760帧视频数据，帧率为30fps。数据采集过程中，机器人执行抓取杯子的任务，同步记录机械臂6个关节的位置信息、腕部和区域摄像头的视频流，以及精确的时间戳和帧索引。数据以分块形式组织，每个数据块包含1000帧，确保高效存储和访问。

特点

该数据集以其多维度的机器人操作数据著称，不仅包含6自由度机械臂的关节位置动作指令，还提供双视角视觉观测——480×640分辨率的腕部摄像头和区域摄像头视频。所有数据均以float32和int64等规范数据类型存储，视频采用AV1编码压缩。特别值得注意的是，数据集严格标注了每个数据点的时空信息，包括时间戳、帧索引和任务索引，为时序分析和动作分割研究提供完整上下文。

使用方法

研究者可通过解析Parquet文件直接访问结构化数据，其中动作指令和状态观测以6维向量形式存储，视频数据则按指定路径调用。数据集已预设训练集划分（0:5），建议使用时结合帧索引实现时序对齐。对于机器人模仿学习任务，可同步利用关节位置数据和双视角视频流；强化学习研究则可基于状态-动作对构建马尔可夫决策过程。视频解码需注意AV1编码格式要求，建议使用现代多媒体处理库。

背景与挑战

背景概述

so101_pick_cup1数据集由LeRobot团队创建，专注于机器人操作任务的研究。该数据集记录了机械臂执行抓取杯子动作的全过程，包含关节位置、视觉观察等多模态数据。作为机器人学习领域的重要资源，它为模仿学习、强化学习等算法提供了真实世界的训练样本。数据集采用Apache 2.0开源协议，体现了研究社区对开放科学的支持。

当前挑战

该数据集主要解决机器人操作任务中的动作规划与执行问题。挑战包括：高维连续动作空间的控制精度要求、多模态传感器数据的时序对齐、以及有限样本下的泛化能力。在构建过程中，面临机械臂运动轨迹的精确记录、视觉数据与状态数据的同步采集、以及复杂场景下的数据标注等工程难题。

常用场景

经典使用场景

在机器人操作任务研究中，so101_pick_cup1数据集为机械臂抓取动作的建模与仿真提供了标准化实验平台。该数据集通过记录so101_follower型机械臂执行抓取杯子的完整动作序列，包含关节位置、腕部及区域视觉信息等多模态数据，特别适用于模仿学习与强化学习算法的训练与验证。其高精度的时序动作标注和同步视觉反馈，为机器人动作分解与轨迹规划研究建立了可靠的基准。

衍生相关工作

该数据集已催生多项机器人学习领域的创新研究。基于其多模态特性，研究者开发了融合视觉与关节数据的跨模态表示学习方法。在模仿学习方向，衍生出基于该数据集的动作分割与轨迹生成算法对比研究。部分工作进一步扩展数据集框架，构建了包含力觉反馈的增强版本，推动了触觉-视觉融合的机器人操作研究进展。

数据集最近研究

最新研究方向

在机器人操作任务领域，so101_pick_cup1数据集为机械臂抓取动作的研究提供了宝贵的数据支持。该数据集通过记录机械臂关节位置、腕部和区域视觉信息等多模态数据，为模仿学习和强化学习算法的训练与验证创造了条件。当前研究热点集中在如何利用此类数据集提升机械臂在复杂环境中的自主操作能力，特别是在非结构化场景下的物体抓取精度和鲁棒性。随着LeRobot等开源平台的普及，该数据集在推动机器人操作技能迁移学习和跨任务泛化方面展现出重要价值，为构建更智能的工业和服务机器人系统奠定了基础。