picko-v7

这个数据集是一个机器人数据集，包含了10个剧集，共计10488帧，1个任务，20个视频和1个块。数据集以Parquet文件格式存储，并提供了相应的视频文件。每个剧集包含的动作和观察状态都有详细的数据描述，包括肩部、肘部、手腕和夹子的位置信息。此外，还包括了上下文图像和手腕图像的视频数据，以及时间戳和索引信息。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so100_follower

数据集结构

• 总集数: 10
• 总帧数: 10488
• 总任务数: 1
• 总视频数: 20
• 总块数: 1
• 块大小: 1000
• 帧率: 30 FPS
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

动作 (action)

• 数据类型: float32
• 形状: [6]
• 名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态 (observation.state)

• 数据类型: float32
• 形状: [6]
• 名称: 同动作特征

观测图像 (observation.images.context 和 observation.images.wrist)

• 数据类型: video
• 形状: [480, 640, 3]
• 名称:
  • height
  • width
  • channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30 FPS
  • 通道数: 3
  • 是否包含音频: false

其他特征

• timestamp: float32, 形状 [1]
• frame_index: int64, 形状 [1]
• episode_index: int64, 形状 [1]
• index: int64, 形状 [1]
• task_index: int64, 形状 [1]

搜集汇总

数据集介绍

构建方式

picko-v7数据集依托LeRobot开源框架构建，采用模块化设计理念实现机器人操作任务数据的系统化采集。技术实现上通过SO100型跟随机器人记录多模态数据流，包含10个完整操作片段共计10488帧，以30fps的采样率同步捕获关节状态参数、双视角视觉信息（环境视角与腕部视角）及操作时序标记，所有数据经标准化处理后存储为Parquet格式，确保高效读取与跨平台兼容性。

特点

该数据集显著特征在于其多维时空对齐的数据结构，不仅包含6自由度机械臂的精确关节位置信息（肩部平移/抬升、肘部屈曲、腕部屈曲/旋转及夹持器开合），还同步提供480×640分辨率的双路RGB视频流。数据标注体系采用分层命名空间设计，将原始传感器数据、动作指令与任务元数据有机整合，视频流采用AV1编解码技术压缩，在保证画质前提下显著降低存储需求。

使用方法

使用者可通过解析meta/info.json获取数据组织结构，按照chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet路径规范加载特定操作片段。视频数据支持帧级随机访问，动作与状态数据以float32张量形式存储，可直接用于强化学习训练。建议采用PyArrow或Pandas处理Parquet文件，利用OpenCV解码视频流，注意时序标记与帧索引的对应关系以确保多模态数据同步。

背景与挑战

背景概述

picko-v7数据集作为机器人领域的重要数据资源，由LeRobot团队基于开源框架构建，旨在推动机器人控制与感知算法的研究。该数据集聚焦于机械臂操作任务，收录了10个完整操作序列的10488帧多模态数据，包含关节状态、视觉观察等关键信息。通过Apache-2.0许可协议开放共享，其结构化存储方案与标准化数据格式为模仿学习、强化学习等算法提供了高质量的基准测试平台。

当前挑战

该数据集面临的核心挑战体现在算法开发与数据构建两个维度。在算法层面，如何有效融合6自由度机械臂的关节控制信号与双视角视觉观测，建立跨模态时空关联模型仍待探索。数据构建过程中，需解决机械臂运动轨迹与视觉观测的精确同步、大规模操作数据的采集效率优化，以及不同环境光照条件下视觉数据的标注一致性等问题。

常用场景

经典使用场景

在机器人控制领域，picko-v7数据集通过记录机械臂关节位置、视觉观察和时间戳等多元信息，为模仿学习算法的训练提供了标准化的数据支持。其包含的10个完整操作序列和10488帧多模态数据，特别适合用于训练机械臂执行抓取、放置等精细操作任务，研究者可通过视频流与关节动作的同步映射，构建端到端的动作预测模型。

衍生相关工作

基于该数据集的空间动作表征方法已衍生出多项创新研究，包括结合Transformer架构的多模态策略学习框架、基于对比学习的视觉动作对应关系建模等。部分工作进一步扩展了原始数据集的边界，例如通过迁移学习将其应用于七自由度机械臂的零样本抓取任务验证。

数据集最近研究

最新研究方向

在机器人学领域，picko-v7数据集凭借其丰富的多模态数据特征，正成为强化学习和模仿学习研究的重要资源。该数据集包含机械臂关节状态、视觉观测等多维度信息，为开发基于深度学习的机器人控制算法提供了坚实基础。近期研究热点集中在利用该数据集进行跨模态表征学习，探索视觉-动作映射关系的建模方法，以及开发面向稀疏奖励场景的强化学习算法。随着LeRobot生态系统的不断完善，picko-v7数据集在机器人技能迁移学习和领域自适应等前沿方向的应用价值日益凸显。