pick-11-14

这是一个使用LeRobot生成的机器人操作数据集，包含152个剧集，共43574帧，1个任务。数据集以Parquet文件格式存储，并包括视频文件。每个文件包含机器人的动作、状态、以及两种图像（抓取器和场景），并有相应的时间戳和索引信息。数据集的目的是为了研究和训练机器人操作相关的算法。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 创建工具: LeRobot
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据规模

• 总情节数: 152
• 总帧数: 43574
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

数据特征

• 动作: 6维浮点数组，包含肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置
• 观测状态: 6维浮点数组，关节位置信息与动作特征相同
• 夹爪图像: 视频格式，分辨率360×640×3，AV1编码，无音频
• 场景图像: 视频格式，分辨率480×640×3，AV1编码，无音频
• 时间戳: 单精度浮点型
• 帧索引: 64位整型
• 情节索引: 64位整型
• 索引: 64位整型
• 任务索引: 64位整型

数据组织

• 数据文件格式: Parquet
• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 数据分割: 训练集包含全部152个情节

引用信息

• 主页: 待补充
• 论文: 待补充
• BibTeX引用: 待补充

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性与系统性至关重要。pick-11-14数据集通过LeRobot平台构建，采用SO101型跟随机器人执行单一任务，共记录152个完整交互片段，累计43574帧数据。数据以分块形式存储于Parquet格式文件中，每块包含1000帧，辅以同步采集的30fps多视角视频流，分别来自夹爪摄像头（360×640分辨率）和场景摄像头（480×640分辨率），确保了动作序列与视觉观测的时空对齐。

特点

该数据集在机器人操作任务中展现出多维感知融合的显著特点。其核心特征包含六自由度关节动作空间（肩部平移/抬升、肘部屈曲、腕部屈曲/旋转及夹爪开合）与对应的关节状态观测，形成闭环控制所需的反馈机制。视觉模态方面，双摄像头系统分别提供夹爪操作特写与全局场景视图，所有数据均附带精确的时间戳与帧索引，支持时序分析与跨模态对齐研究。数据集采用Apache 2.0许可协议，具备标准化数据结构与元信息描述，为仿人机器人控制算法开发提供丰富素材。

使用方法

针对机器人学习研究需求，该数据集支持端到端的策略训练与验证流程。研究者可通过解析Parquet文件获取结构化观测-动作对，其中状态观测包含关节角度与双路视频流，动作空间则对应六维连续控制指令。数据按训练集完整划分（0-152 episodes），建议采用帧索引与片段索引构建训练批次，利用时间戳信息实现动作序列的时序建模。视频数据可通过指定路径加载，配合元数据中定义的传感器标定参数，适用于模仿学习、强化学习等算法的多模态输入处理。

背景与挑战

背景概述

在机器人学习领域，大规模交互数据集的构建对推动模仿学习与强化学习算法发展具有关键意义。pick-11-14数据集由HuggingFace的LeRobot平台于2023年构建，专注于六自由度机械臂的物体抓取任务。该数据集通过SO101型跟随机器人采集了152条完整操作轨迹，涵盖43574帧多模态数据，其核心价值在于提供了关节控制指令与双视角视觉观测的同步映射关系，为机器人精细操作策略的端到端学习奠定了数据基础。

当前挑战

该数据集致力于解决机器人抓取任务中动作-感知协同建模的经典难题，具体体现为从高维视觉输入到连续关节空间动作的精确映射挑战。构建过程中面临多传感器时序对齐的技术瓶颈，需确保30Hz采集频率下机械臂状态数据与双路视频流的严格同步。此外，六维动作空间的连续控制要求与部分可观测环境下的状态推断，进一步增加了数据标注与质量控制的复杂度。

常用场景

经典使用场景

在机器人操作领域，pick-11-14数据集通过记录机械臂关节位置与视觉感知数据，为模仿学习算法提供了丰富的训练样本。该数据集包含152个完整操作序列，涵盖抓取任务中从初始姿态到目标操作的连续轨迹，其多模态特性使得研究者能够同时分析运动控制与视觉反馈的协同机制，为机器人自主决策系统的开发奠定了数据基础。

解决学术问题

该数据集有效解决了机器人技能迁移中的动作泛化难题，通过标准化六自由度机械臂的运动轨迹与双视角视觉数据，为深度强化学习提供了结构化评估基准。其精确的时间戳与帧索引设计，使研究者能够量化分析动作序列的时序一致性，显著提升了动态环境下机器人操作策略的稳定性和可复现性，推动了具身智能领域的实证研究进展。

衍生相关工作

基于该数据集的多模态特性，已有研究衍生出视觉动作联合嵌入表示方法，推动了端到端机器人操作策略的发展。部分工作通过提取其双视角视频序列中的时空特征，构建了跨模态注意力机制，显著提升了动态抓取任务的成功率。这些探索为后续基于Transformer的机器人决策模型提供了重要的架构参考。