so101_PickStrawberry

这是一个关于机器人的数据集，包含了10个剧集，共15452帧，1个任务，20个视频和1个块。每个块的大小为1000，帧率为30。数据集采用Apache-2.0许可证。数据集的结构包括动作、状态、手腕图像、前视图像、时间戳、帧索引、剧集索引、索引和任务索引等特征信息。

原始信息汇总

数据集概述

基本信息

• 名称: so101_PickStrawberry
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总视频数: 20
• 总片段数: 10
• 总帧数: 15452
• 帧率: 30 fps
• 数据格式: Parquet
• 代码库版本: v2.1
• 机器人类型: so101_follower

数据特征

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

腕部图像观测

• 名称: observation.images.wrist
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

前部图像观测

• 名称: observation.images.front
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

元数据特征

• 时间戳: float32, 形状[1]
• 帧索引: int64, 形状[1]
• 片段索引: int64, 形状[1]
• 索引: int64, 形状[1]
• 任务索引: int64, 形状[1]

数据组织

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分块大小: 1000
• 总块数: 1
• 训练集: 0:10

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人操作任务数据采集领域，so101_PickStrawberry数据集通过LeRobot框架系统化构建。该数据集采集自so101_follower型机器人的实际操作过程，包含10个完整任务片段，总计15452帧时序数据。数据以30fps的采样频率同步记录机器人的关节状态、视觉观测及动作指令，并以分块存储的parquet格式高效组织，确保时序一致性与数据完整性。

特点

该数据集的核心特征体现在多模态数据的深度融合，包含6维关节角度动作空间、双视角视觉观测（腕部与前置摄像头）及高精度时间戳索引。视觉数据采用480×640分辨率RGB格式，辅以AV1编码压缩存储。数据维度涵盖机器人状态、图像帧及元数据索引，为模仿学习与强化学习算法提供结构化输入输出对应关系。

使用方法

研究者可通过LeRobot代码库加载数据集，利用标准接口解析parquet文件中的时序序列。每个数据块包含连续帧的动作-观测对，支持端到端策略训练与验证。视觉数据需配合视频解码器提取帧序列，状态与动作数据可直接用于动力学建模。数据集默认划分为训练集，适用于行为克隆、逆强化学习等机器人学习任务。

背景与挑战

背景概述

机器人操作数据集so101_PickStrawberry由HuggingFace的LeRobot项目团队构建，专注于农业自动化场景中的草莓采摘任务。该数据集通过so101_follower型机器人采集，包含10个完整操作序列和15452帧多模态数据，记录了机械臂关节运动轨迹与视觉感知信息。其核心研究在于解决精细操作任务中的动作规划与环境交互问题，为模仿学习与强化学习算法提供了真实世界的训练基准，推动了农业机器人技术在非结构化环境中的适应性发展。

当前挑战

该数据集针对农业机器人精细化操作中的视觉-动作协同映射难题，需克服果实形态变异、光照条件波动及遮挡干扰等复杂场景因素。构建过程中面临多传感器时序同步精度控制、高维连续动作空间的数据标注一致性，以及大规模视频数据压缩存储等技术挑战，同时需确保机械臂运动轨迹在物理约束下的安全性与自然性。

常用场景

经典使用场景

在机器人操作学习领域，so101_PickStrawberry数据集为模仿学习算法提供了标准化的评估基准。该数据集通过记录机械臂采摘草莓的完整操作序列，包含多视角视觉观测和六维关节位置动作数据，能够有效支持端到端策略学习模型的训练与验证。研究者可利用其高精度时序对齐特性，开发基于视觉的运动规划算法。

解决学术问题

该数据集显著解决了机器人精细操作任务中的样本效率问题，为小样本模仿学习提供了高质量演示数据。通过提供真实世界的机械臂关节控制序列与同步视觉反馈，它有效弥补了仿真到现实迁移的鸿沟，推动了基于学习的机器人控制方法在农业自动化领域的应用研究，为具身智能系统在非结构化环境中的适应性提供了重要数据支撑。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于Transformer的时序动作预测模型和多模态感知融合架构。相关研究通过提取数据集中的关节运动模式与视觉特征关联，开发了能够泛化到新采摘场景的元学习算法，这些成果已延伸至其他精细操作任务，形成了机器人技能学习的数据驱动研究范式。