eval_so101_pnp

该数据集是一个机器人学数据集，包含5个剧集、8909帧图像、1个任务、10个视频和1个块。数据集以Parquet文件格式存储，并包含有关机器人动作、状态以及笔记本电脑和手机图像的特征信息。数据集的帧率为30fps，且所有视频均无音频。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot, tutorial

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: so101
• 总集数: 5
• 总帧数: 8909
• 总任务数: 1
• 总视频数: 10
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割:
  • 训练集: 0:5
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同 action
• observation.images.laptop:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 30 fps
    • 通道数: 3
    • 无音频
• observation.images.phone:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: 同 laptop
  • 视频信息: 同 laptop
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

eval_so101_pnp数据集依托LeRobot开源框架构建，采用模块化设计理念对机器人操作任务进行系统化采集。技术实现上通过SO101型机械臂的六自由度关节运动数据与多视角视觉信息同步记录，以30fps的采样频率将动作指令、关节状态、双路RGB视频流等异构数据封装于Parquet格式文件中，每个数据块包含1000帧的连续操作序列，最终形成包含5个完整任务片段、总计8909帧的多模态数据集。

特点

该数据集在机器人学习领域展现出鲜明的多模态特性，其核心价值在于精准对齐的时空数据流——六维动作向量与对应关节状态构成闭环控制信号，配合笔记本电脑与手机双视角的640×480分辨率视频，为模仿学习提供丰富的环境上下文。数据结构的精巧设计体现在层次化特征命名体系，从底层传感器数据到高层任务索引均具备明确语义标注，特别是视频流采用AV1编解码技术，在保证视觉质量的同时显著提升存储效率。

使用方法

研究者可通过解析Parquet文件直接获取时空对齐的机器人操作数据流，建议使用pandas或PyArrow进行高效数据加载。典型应用场景包括：基于双视角视频输入的行为克隆模型训练、关节空间运动规划的强化学习算法验证、跨模态表征学习的基准测试等。数据集默认划分将所有5个片段用于训练，使用者需注意其规模更适合作为轻量级验证集或数据增强研究的基数据集。视频数据需配合OpenCV等库实现帧级解码，动作与状态数据的同名维度设计则便于监督学习中的特征对齐。

背景与挑战

背景概述

eval_so101_pnp数据集由LeRobot项目团队构建，专注于机器人技术领域的研究与应用。该数据集记录了so101型机器人在执行任务过程中的多模态数据，包括关节动作、状态观测以及来自笔记本电脑和手机摄像头的视觉信息。通过30fps的高频采样，数据集捕捉了机器人操作的动态细节，为机器人控制算法的开发与验证提供了丰富的实验素材。尽管具体创建时间和主要研究人员信息尚未公开，但其基于Apache 2.0许可证的开源特性，显著降低了机器人学习研究的门槛。

当前挑战

该数据集旨在解决机器人任务执行中的动作-感知协同优化问题，其核心挑战在于如何从多源异构数据中提取有效的时空特征。构建过程中面临传感器同步精度、多视角视频数据对齐等技术难点，且当前数据规模仅包含5个任务片段，可能限制复杂模型的训练需求。视频编码采用AV1格式虽保证压缩效率，但对实时处理系统的解码能力提出较高要求。

常用场景

经典使用场景

在机器人控制与学习领域，eval_so101_pnp数据集为研究人员提供了一个标准化的测试平台，用于评估机械臂抓取与放置任务的性能。该数据集通过记录so101型机械臂在多种操作场景下的关节角度、末端执行器状态以及多视角视频数据，为模仿学习与强化学习算法的训练与验证提供了丰富的数据支持。其结构化的数据格式与精确的时间同步特性，使得该数据集特别适用于研究机械臂动作规划与视觉伺服控制之间的协同问题。

实际应用

该数据集在工业自动化与智能仓储领域展现出重要应用价值。基于数据集训练的模型可直接应用于物流分拣、精密装配等实际场景，其记录的机械臂运动参数为生产线上的设备调试提供了参考基准。多视角视频数据更可支持开发基于视觉的实时质量检测系统，在电子产品组装等需要高精度操作的领域具有特殊优势。数据集采用的Apache 2.0许可进一步促进了其在工业界的推广应用。

衍生相关工作

围绕eval_so101_pnp数据集已产生若干具有影响力的研究工作。在模仿学习方向，研究者利用其多模态数据开发了基于Transformer的行为克隆框架；在强化学习领域，该数据集被用作基准测试环境验证分层策略的有效性。值得注意的是，数据集包含的触觉模拟信息（通过gripper状态表征）催生了新一代的跨模态感知算法，这些成果均发表在机器人顶会ICRA与IROS上。