sroiv2_strawberry_picking_lab_validation
收藏资源简介：
SROI v2 — 草莓采摘（实验室）— 验证集。该数据集是SROI v2草莓采摘数据的独立验证集，包含100个人类草莓采摘演示，使用SROI V2手持数据采集设备（类似UMI握把，集成Intel RealSense D405立体相机）在实验室活体植物上录制。采集过程中不涉及机器人臂，7自由度末端执行器动作通过离线方式恢复（使用ORB-SLAM3立体SLAM加夹爪掩码计算设备轨迹，AprilTags计算夹爪开度）。学习到的策略部署在搭载相同末端执行器的机器人臂上，其相机视角与记录完全一致。任务：采摘草莓（单一任务，100个片段）。采集方式：使用SROI V2手持设备的人类演示（UMI风格，非机器人臂录制）。相机：固定在设备上的Intel RealSense D405（18mm立体基线，零畸变），480×640 RGB，30fps，第一人称视角。项目：agroboticsresearch.github.io/sroi_v2。训练集对应：zfff/sroiv2_strawberry_picking_lab_1459_occlusion。该验证集与训练集录制于不同日期（2026-07-14），因此无片段泄露。任务、帧率和模式完全相同，可直接作为验证集使用。数据集摘要：100个片段，9274帧，30fps，LeRobot v3.0格式（Parquet + AV1视频），观测为observation.images.camera（480×640×3 RGB视频），动作为7维浮点数（ee.x, ee.y, ee.z, ee.wx, ee.wy, ee.wz, ee.gripper_pos），总大小约155MB。处理流程：录制MP4→帧解码→ORB-SLAM3立体轨迹估计（带夹爪掩码）→轨迹变换→基于AprilTags的夹爪姿态估计（中值滤波3）→视觉质量控制→转换为LeRobot格式。所有100个片段通过视觉质量控制，掩码SLAM处理与训练管线一致，因此训练和验证轨迹可直接比较。夹爪位置通道归一化到[0,1]，使用这100个片段的统一鲁棒范围。每个片段的相机内参保存在meta/camera_info/下。
SROI v2 — Strawberry Picking (Lab) — Validation Set. This dataset is an independent validation set for SROI v2 strawberry picking data, containing 100 human strawberry picking demonstrations recorded on live plants in a laboratory using the SROI V2 handheld data collection device (similar to UMI gripper, integrated with Intel RealSense D405 stereo camera). The collection process does not involve a robotic arm; 7-DOF end-effector actions are recovered offline (using ORB-SLAM3 stereo SLAM with gripper mask for device trajectory and AprilTags for gripper opening). The learned policy is deployed on a robotic arm equipped with the same end-effector, with the camera view exactly matching the recorded view. Task: Strawberry picking (single task, 100 episodes). Collection method: Human demonstrations using SROI V2 handheld device (UMI style, not recorded by a robotic arm). Camera: Intel RealSense D405 fixed on the device (18mm stereo baseline, zero distortion), 480×640 RGB, 30fps, first-person view. Project: agroboticsresearch.github.io/sroi_v2. Corresponding training set: zfff/sroiv2_strawberry_picking_lab_1459_occlusion. This validation set was recorded on a different date (2026-07-14) from the training set, so there is no episode leakage. The task, frame rate, and mode are exactly the same, and it can be directly used as a validation set. Dataset summary: 100 episodes, 9274 frames, 30fps, LeRobot v3.0 format (Parquet + AV1 video), observations as observation.images.camera (480×640×3 RGB video), actions as 7-dimensional floats (ee.x, ee.y, ee.z, ee.wx, ee.wy, ee.wz, ee.gripper_pos), total size approximately 155MB. Processing pipeline: Record MP4 → Decode frames → ORB-SLAM3 stereo trajectory estimation (with gripper mask) → Trajectory transformation → AprilTags-based gripper pose estimation (median filter 3) → Visual quality control → Conversion to LeRobot format. All 100 episodes passed visual quality control, and the masked SLAM processing is consistent with the training pipeline, so training and validation trajectories are directly comparable. The gripper position channel is normalized to [0,1] using a unified robust range from these 100 episodes. Camera intrinsics for each episode are saved under meta/camera_info/.
SROI v2 草莓采摘（实验室）验证集
数据集概述
SROI v2 草莓采摘（实验室）验证集是一个由浙江大学创建、使用 LeRobot 工具生成的机器人学数据集，包含 100 个人类草莓采摘演示视频，总帧数 9,274 帧，数据集大小约 155 MB。该数据集是 SROI v2 草莓采摘数据的预留验证集，与对应的训练集（zfff/sroiv2_strawberry_picking_lab_1459_occlusion）分离，且录制日期不同，确保训练与验证之间无片段泄漏。
数据采集方式
- 采集设备：SROI V2 手持式数据采集设备（UMI 风格夹爪，集成 Intel RealSense D405 立体相机）
- 采集方式：人类演示，不涉及机械臂；相机采用第一人称视角，分辨率为 480×640 RGB，帧率为 30 fps
- 任务：采摘草莓（单一任务，所有 100 个片段均为该任务）
- 后处理：使用 ORB-SLAM3 立体 SLAM（带夹爪掩膜）恢复设备轨迹，通过 AprilTags 估计夹爪开合状态，并经视觉质量控制；所有 100 个片段均通过 QC（0 个被丢弃）
数据集结构
| 属性 | 说明 |
|---|---|
| 格式 | LeRobot v3.0（Parquet + AV1 视频） |
| 观察数据 | observation.images.camera — 480×640×3 RGB 视频 |
| 动作数据 | action — 7 维 float32：ee.x, ee.y, ee.z, ee.wx, ee.wy, ee.wz, ee.gripper_pos |
| 视频编码 | AV1（yuv420p），30 fps，无音频 |
| 任务数量 | 1 |
| 划分 | train: "0:100" |
项目信息
- 项目主页：https://agroboticsresearch.github.io/sroi_v2/
- 所有 SROI 数据集：https://agroboticsresearch.github.io/sroi_datasets/
- 训练集对应版本：https://huggingface.co/datasets/zfff/sroiv2_strawberry_picking_lab_1459_occlusion
- 数据集可视化工具：https://huggingface.co/spaces/lerobot/visualize_dataset?path=zfff/sroiv2_strawberry_picking_lab_validation
- 许可证：Apache-2.0
快速使用示例
python from lerobot.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset("zfff/sroiv2_strawberry_picking_lab_validation") episode = dataset[0] # dict with "observation.images.camera", "action", ...
注意：
meta/info.json中robot_type: "so100"是转换脚本的硬编码默认值，不代表采集设备——本数据为人类手持 SROI V2 设备采集。
