so100_strawberry_2

这是一个基于LeRobot框架创建的机器人操作数据集，采用Apache-2.0许可证。数据集包含50个episode，共计70,492帧，帧率为30fps，仅包含一个任务。数据由一台名为so100_follower的机器人采集，记录其6个关节（shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll和gripper）的位置信息。每个时间步包含：6维动作向量、6维观察状态向量，以及来自三个摄像头（front、top、hand）的彩色视频图像（分辨率480x640，RGB三通道）。此外还提供时间戳、帧索引、episode索引、索引和任务索引等辅助字段。数据文件以Parquet格式存储，视频文件以MP4格式存储，总大小约300MB。数据集可用于机器人模仿学习、行为克隆、策略训练等任务。根据数据集名称推测，任务可能涉及草莓的抓取或操作。This is a robot manipulation dataset created based on the LeRobot framework, licensed under Apache-2.0. The dataset contains 50 episodes, totaling 70,492 frames at 30fps, with only one task. Data was collected by a robot named so100_follower, recording the positions of its 6 joints (shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, and gripper). Each timestep includes: a 6-dimensional action vector, a 6-dimensional observation state vector, and color video images (resolution 480x640, RGB three channels) from three cameras (front, top, hand). Additional auxiliary fields such as timestamps, frame indices, episode indices, indices, and task indices are provided. Data files are stored in Parquet format, video files in MP4 format, with a total size of approximately 300MB. The dataset can be used for tasks such as robot imitation learning, behavior cloning, and policy training. Based on the dataset name, it is speculated that the task may involve grasping or manipulating strawberries.

原始信息汇总

数据集概述：so100_strawberry_2

基本信息

• 数据集地址：https://huggingface.co/datasets/samanthalhy/so100_strawberry_2
• 许可证：Apache-2.0
• 任务类别：机器人技术（robotics）
• 标签：LeRobot

数据集描述

该数据集是使用LeRobot框架创建的机器人操作数据集。

数据规模

• 总片段数：50
• 总帧数：70,492
• 总任务数：1
• 数据文件大小：约100 MB
• 视频文件大小：约200 MB

机器人信息

• 机器人类型：so100_follower（SO-100机械臂）

数据划分

• 训练集：0-50（全部数据用于训练）

数据特征

该数据集以30 FPS的采样率记录，每个数据样本包含以下特征：

动作与状态

特征	数据类型	形状	含义
action	float32	6	机械臂6个关节的动作指令
observation.state	float32	6	机械臂6个关节的状态反馈

6个关节名称（动作和状态共用）：

1. shoulder_pan.pos（肩部水平旋转）
2. shoulder_lift.pos（肩部垂直抬升）
3. elbow_flex.pos（肘部弯曲）
4. wrist_flex.pos（腕部弯曲）
5. wrist_roll.pos（腕部旋转）
6. gripper.pos（夹爪开合）

视觉观测

数据集包含三个摄像机视角的RGB视频观测，均为480×640×3：

视角	代码	编码格式	帧率
前置摄像头	observation.images.front	AV1	30 FPS
顶部摄像头	observation.images.top	AV1	30 FPS
手部摄像头	observation.images.hand	AV1	30 FPS

元数据特征

特征	数据类型	说明
timestamp	float32	时间戳
frame_index	int64	帧索引
episode_index	int64	片段索引
index	int64	全局索引
task_index	int64	任务索引

数据格式

• 主要数据存储于Parquet文件中（路径模式：data/chunk-XXX/file-XXX.parquet）
• 视频数据存储于MP4文件中（路径模式：videos/{video_key}/chunk-XXX/file-XXX.mp4）

搜集汇总

数据集介绍

构建方式

该数据集源自LeRobot框架的实践应用，旨在捕获双臂机器人采摘草莓的精细操作流程。数据采集依托SO-100机械臂，于受控环境中执行采摘任务，同步记录六个关节的角度指令与状态反馈，形成动作与状态的双通道数据流。视觉信息由三路摄像头多角度捕获，包括前视、顶视及手部近景，每帧图像均编码为高压缩率的AV1格式视频，以确保视觉细节与数据体积的平衡。样本数据按固定频率30Hz采集，并组织为50个完整演示片段，总帧数逾七万，涵盖从接近、抓取到放置的完整任务序列。所有传感器读数与时序标签严密对齐，便于模型学习状态与动作间的因果映射。

使用方法

研究者可借助LeRobot生态，通过加载meta/info.json中的配置文件，轻松将数据转化为PyTorch或其他深度学习框架所需的张量格式。数据按训练与验证集划分，其中前50个episode默认用于训练，便于采用标准的监督学习基线进行验证。具体实施时，可将观测图像序列编码为视觉特征，与关节状态向量拼接，形成高维输入；进而使用扩散策略或基于Transformer的动作生成模型进行行为克隆训练。数据所附的fps字段允许多种时间对齐策略，满足不同算法的时序建模需求。实践中，研究者可定制数据加载流程，仅提取某一视角或融合多视角信息，以适应特定算法架构。该数据集亦支持模型在真实机器人上的仿真迁移测试，为验证学习策略的鲁棒性提供实证基础。

背景与挑战

背景概述

随着机器人学习与模仿学习领域的迅猛发展，高质量、多模态的演示数据集成为推动具身智能体从感知到行动闭环的关键基石。该so100_strawberry_2数据集由研究团队基于LeRobot开源框架于近期创建，旨在捕获双臂SO-100机器人执行草莓采摘与操作任务的精细动作序列。数据集以30Hz的频率同步记录6维关节控制信号与三视角（前置、俯视、手部）高清视频流，涵盖50个完整回合、逾七万帧影像，构建了视觉-运动耦合的密集样本空间。其核心研究问题聚焦于利用低成本硬件平台采集可复现的灵巧操纵数据，为迁移学习、行为克隆及强化学习算法提供基准性验证资源，在开源社区中推动了精细农业操作与机器人数据标准化进程。

当前挑战

本数据集直面机器人操纵领域两大核心挑战：其一，草莓作为柔软易损、形态非刚体的目标物，要求算法具备亚毫米级空间感知与自适应抓取策略，这超越了传统刚性物体操纵范式，对模型的视觉定位精度与力控敏感度提出严苛考验。其二，在构建过程中，需驾驭多传感器（多路摄像头与关节编码器）的时序同步、低延迟数据流高效压缩及标签一致性，尤其在30Hz采集频率下维持千万级帧数据的质量与完整度，同时确保跨50个回合的演示动作多样性，避免数据偏差，这极大考验了数据采集系统的工程稳定性与后处理流水线的缜密性。

常用场景

经典使用场景

该数据集源自LeRobot框架，专为机器人操控研究设计，聚焦于草莓抓取与放置这一精细操作任务。其经典使用场景在于为模仿学习提供高质量的多模态演示数据，涵盖前视、顶视及手部摄像头同步采集的640×480视觉信息，以及六自由度关节角度与夹爪状态等本体感觉数据。借助30Hz的采样频率与50个完整轨迹，研究者能够训练端到端的视觉运动策略，使机器人学会从视觉输入直接映射至动作输出，由此探究感知-行动耦合机制在灵巧操作中的实现路径，推动机器人技能学习从仿真到实物的迁移。

解决学术问题

该数据集直面机器人领域长期存在的‘示范数据稀缺’与‘复杂操作泛化’两大难题。通过系统化采集SO-100机械臂执行草莓摘取任务的高精度动作序列，为研究提供标准化的基准测试平台，支持对比不同模仿学习算法（如行为克隆、扩散策略）在精细操控上的性能差异。其结构化的时间戳、帧索引与任务标签设计，还便于研究者探索时序关联建模和因果推理方法，进而揭示示范数据的内在规律，对提升策略的鲁棒性与跨场景迁移能力具有重要的理论与实证价值，为构建通用操作智能奠定数据基石。

实际应用

在工业与农业自动化领域，此数据集可直接赋能精准采摘机器人的开发与优化。基于其中涵盖的多视角视觉信息和末端执行器状态，工程师可训练机械臂在非结构环境中识别并稳健抓取柔软易损的草莓，减少采摘损伤率。同时，该数据驱动的路径规划与控制策略可灵活迁移至其他果蔬种类的分拣任务，提升生产线的柔性与智能化水平。此外，LeRobot平台的兼容性使得数据能够便捷接入机器人仿真器与真实平台，为快速原型验证和部署提供便利，从而加速从实验室研究向产业实际需求的转化进程。

数据集最近研究

最新研究方向

在机器人学习领域，精细操作技能的获取与泛化是当前研究的热点，尤其是基于模仿学习的方法在复杂物体操控中的表现备受关注。so100_strawberry_2数据集依托LeRobot框架，以SO-100六轴机械臂为平台，收集了跨越50个试次、超过七万帧的视觉与运动状态数据，专注于草莓处理这类高精度任务。该数据集的发布为迁移学习与多模态融合策略提供了宝贵的训练资源，推动了机器人从简单的抓取走向灵巧操作的研究进程。其高频率采样及多视角视觉信息，有助于提升策略网络对非结构化环境的适应性，对探索高效的学习算法架构具有重要的科研意义。