sroiv2_strawberry_picking_lab_validation
收藏资源简介：
该数据集是SROI v2草莓采摘项目（浙江大学）的独立验证集，包含100个人类草莓采摘演示，在实验室环境中使用SROI V2手持数据采集装置录制。该装置为UMI风格夹爪，集成Intel RealSense D405立体相机（18mm基线，零畸变），以30 fps采集480×640 RGB第一人称视角视频。采集过程中不涉及机器人手臂，7自由度末端执行器动作（位置x、y、z，方向wx、wy、wz，夹爪位置）通过离线ORB-SLAM3立体SLAM（带夹爪掩模）和AprilTag夹爪位姿估计（中值滤波3）恢复。数据采用LeRobot v3.0格式（Parquet + AV1视频），共100个片段、9274帧，总大小约155 MB。任务为单一采摘草莓任务。验证集与训练集采集日期不同（验证集为2026-07-14，训练集为2026-07-09之后），确保无片段泄漏。每个片段保留了相机内参。夹爪位置通道经归一化到[0,1]。该数据集可直接作为训练集（zfff/sroiv2_strawberry_picking_lab_1459_occlusion）的验证集使用。
This dataset is a standalone validation set for the SROI v2 strawberry picking project (Zhejiang University), containing 100 human strawberry picking demonstrations recorded in a laboratory environment using the SROI V2 handheld data collection device. The device is a UMI-style gripper integrated with an Intel RealSense D405 stereo camera (18mm baseline, zero distortion), capturing 480×640 RGB first-person-view videos at 30 fps. No robot arm is involved during collection; the 7-DOF end-effector actions (position x, y, z, orientation wx, wy, wz, and gripper position) are recovered via offline ORB-SLAM3 stereo SLAM (with gripper mask) and AprilTag gripper pose estimation (median filter 3). The data is in LeRobot v3.0 format (Parquet + AV1 video), with 100 episodes and 9274 frames, totaling approximately 155 MB. The task is a single strawberry picking task. The validation set and training set are collected on different dates (validation set: 2026-07-14, training set: after 2026-07-09), ensuring no episode leakage. Camera intrinsics are retained for each episode. The gripper position channel is normalized to [0,1]. This dataset can be directly used as the validation set for the training set (zfff/sroiv2_strawberry_picking_lab_1459_occlusion).
数据集概述
SROI v2 — Strawberry Picking (Lab) — Validation Set 是一个机器人操作领域的验证集，用于草莓采摘任务。该数据集由浙江大学创建，包含 100个人类演示，使用手持式数据采集设备在实验室环境中录制。
关键信息
| 项目 | 内容 |
|---|---|
| 任务 | 采摘草莓（单一任务，共100个片段） |
| 数据规模 | 100个片段，9,274帧 |
| 帧率 | 30 fps |
| 格式 | LeRobot v3.0（Parquet + AV1视频） |
| 观测数据 | observation.images.camera — 480×640×3 RGB视频 |
| 动作数据 | action — 7维float32：末端位置(3) + 末端姿态(3) + 夹爪位置(1) |
| 总大小 | 约155 MB |
| 许可证 | Apache-2.0 |
数据采集与处理
- 采集设备：SROI V2手持数据采集装置（UMI风格夹爪，集成Intel RealSense D405立体相机）
- 采集方式：人类手持演示，非机械臂录制
- 处理流程：MP4解码 → ORB-SLAM3立体轨迹估计（带夹爪掩膜）→ 轨迹变换 → AprilTag夹爪姿态估计 → 可视化质检 → LeRobot格式转换
- 质检结果：全部100个片段均通过视觉质检（0个丢弃）
数据集结构
- 元数据：每个片段的相机内参保存在
meta/camera_info/ - 时间划分：验证集录制日期为 2026-07-14，与训练集（2026-07-09起）录制日期不同，确保训练与验证之间无片段重叠
- 兼容性：与训练集任务、帧率和数据结构完全一致，可直接作为验证集使用
使用示例
python from lerobot.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset("zfff/sroiv2_strawberry_picking_lab_validation") episode = dataset[0] # 包含 "observation.images.camera", "action" 等
相关链接
- 项目页面：https://agroboticsresearch.github.io/sroi_v2/
- 所有SROI数据集：https://agroboticsresearch.github.io/sroi_datasets/
- 训练集对应版本：https://huggingface.co/datasets/zfff/sroiv2_strawberry_picking_lab_1459_occlusion
- 可视化工具：https://huggingface.co/spaces/lerobot/visualize_dataset?path=zfff/sroiv2_strawberry_picking_lab_validation
引用
Hou, L., Lu, W., Wang, Y., Peng, C., & Fei, Z. (2025). Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Cultivation. IFAC-PapersOnLine, 59(23), 303–308.
