so101_pick

这是一个用于机器人学任务的机器人数据集，包含了2个总的剧集，367个总帧数，1个任务，4个视频和1个数据块。数据集以Parquet文件格式存储，并且记录了机器人的动作、状态、来自笔记本电脑和手机的图像以及时间戳等信息。数据集根据Apache-2.0许可发布，并已被分割为训练集。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, so101, tutorial
• 创建工具: LeRobot

数据集结构

• 数据文件格式: parquet
• 配置名称: default
• 数据文件路径: data//.parquet

数据集统计信息

• 代码库版本: v2.1
• 机器人类型: so101
• 总片段数: 2
• 总帧数: 367
• 总任务数: 1
• 总视频数: 4
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 训练集划分: 0:2

数据特征

动作特征

• 数据类型: float32
• 形状: [6]
• 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper

观测状态特征

• 数据类型: float32
• 形状: [6]
• 名称: 同动作特征

观测图像特征

笔记本电脑图像

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 fps
  • 通道数: 3
  • 无音频

手机图像

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息: 同笔记本电脑图像

其他特征

• 时间戳: float32, 形状[1]
• 帧索引: int64, 形状[1]
• 片段索引: int64, 形状[1]
• 索引: int64, 形状[1]
• 任务索引: int64, 形状[1]

数据存储路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so101_pick数据集通过LeRobot平台精心构建，采用先进的实验数据采集方法。该数据集包含2个完整操作序列，共367帧数据，以30fps的采样频率记录机械臂的六维关节动作和双视角视觉信息，数据以Parquet格式分块存储，确保高效访问与处理。每个数据块包含1000帧的标准化记录，通过精确的时间戳和帧索引实现多模态数据的严格同步。

特点

该数据集的核心价值在于其多维度的机器人操作数据表征，不仅包含so101型机械臂的六自由度关节空间动作指令，还同步采集了笔记本电脑和手机双视角的480p RGB视频流。数据结构的精巧设计体现在动作与状态观测的对称性描述，以及视频元数据中编解码格式、像素排列等专业参数的完整标注，为模仿学习算法提供了丰富的训练素材。

使用方法

研究人员可通过HuggingFace平台直接加载该数据集，利用内置的Parquet数据解析功能快速获取结构化信息。典型应用场景包括：通过frame_index实现跨模态数据对齐，基于episode_index划分训练集，借助action和observation.state的维度一致性开发闭环控制算法。视频数据可通过指定video_path路径访问，支持主流的计算机视觉处理框架进行实时分析。

背景与挑战

背景概述

so101_pick数据集由LeRobot团队创建，专注于机器人操作任务的研究。该数据集旨在通过记录机械臂在执行抓取任务时的多模态数据，包括关节状态、视觉信息和时间戳等，为机器人学习算法提供丰富的训练资源。数据集采用Apache-2.0许可协议，其结构设计体现了对机器人任务分解与状态表征的深入研究。尽管具体创建时间和主要研究人员信息尚未公开，但其基于开源框架LeRobot的构建方式，彰显了其在机器人学习领域的实用价值。

当前挑战

该数据集面临的挑战主要体现在两方面：在领域问题层面，机器人抓取任务需解决高维状态空间下的动作规划难题，以及多传感器数据（如视觉与关节状态）的融合问题；在构建过程中，数据采集的同步性与完整性是关键挑战，尤其是多摄像头视角下的视频数据与机械臂状态的精确对齐。此外，数据集的规模相对有限，可能影响复杂模型的泛化能力。

常用场景

经典使用场景

在机器人控制领域，so101_pick数据集为研究机械臂抓取任务提供了丰富的实验数据。该数据集记录了so101型机械臂执行抓取动作时的关节角度、末端执行器状态以及多视角视频数据，为模仿学习和强化学习算法的训练与验证提供了标准化的测试平台。研究人员可通过分析机械臂在三维空间中的运动轨迹和视觉反馈，深入理解复杂操作任务的动力学特性。

解决学术问题

该数据集有效解决了机器人操作任务中样本效率低下的核心问题。通过提供真实机械臂的运动学参数与同步视觉观测，研究者能够突破仿真到现实迁移的瓶颈，验证各类基于视觉的抓取策略。其精确标注的关节空间数据为建立机器人逆运动学模型提供了可靠依据，而多模态传感器融合的特性则推动了跨模态表征学习的发展。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于时空注意力的操作策略生成框架、多视角视觉伺服控制系统等。部分团队将其与深度预测模型结合，开发出无需精确标定的视觉抓取算法。在元学习方向，研究者利用数据集的模块化特性构建了跨任务技能迁移管道。