sroiv2_strawberry_picking_lab_1459_occlusion
收藏资源简介：
SROI v2 草莓采摘（实验室遮挡场景）训练数据集是人类草莓采摘演示的数据集，用于机器人模仿学习。数据使用 SROI V2 手持数据采集设备（配备 Intel RealSense D405 立体相机的 UMI 风格夹爪）在实验室环境中采集，人类操作员从活体草莓植株上采摘草莓，设备记录第一人称视角视频，不涉及机器人手臂。7 自由度末端执行器动作通过离线方式恢复：设备轨迹由 ORB-SLAM3 立体 SLAM 得到（跟踪帧中遮挡夹爪），夹爪开合由 AprilTags 得到。学习到的策略随后部署在携带相同末端执行器的机器人手臂上，其相机视角与录制视角一致，从而实现模仿学习迁移。该数据集包含 1,459 个 episode，共 140,522 帧，帧率 30 fps，格式为 LeRobot v3.0（Parquet + AV1 视频）。观测为 observation.images.camera（480×640×3 RGB 视频），动作为 7 维浮点向量：ee.x, ee.y, ee.z, ee.wx, ee.wy, ee.wz, ee.gripper_pos。该训练集由两个具有相同模式、帧率和编码器的子集合并而成（1,302 和 157 个 episode），所有 episode 均通过视觉质量检查。夹爪位置通道已归一化到统一范围，便于跨 episode 比较。配对验证集为 zfff/sroiv2_strawberry_picking_lab_validation（不同日期录制，无泄漏）。适合用于机器人草莓采摘的模仿学习、动作预测等任务。
SROI v2 Strawberry Picking (Lab Occlusion) Training Dataset is a human strawberry picking demonstration dataset for robot imitation learning. Data is collected in a lab environment using the SROI V2 handheld data collection device (UMI-style gripper equipped with Intel RealSense D405 stereo camera). A human operator picks strawberries from live strawberry plants, and the device records first-person view video without involving a robot arm. 7-DOF end-effector actions are recovered offline: device trajectory via ORB-SLAM3 stereo SLAM (tracking occluded gripper in frames), gripper opening/closing via AprilTags. The learned policy is then deployed on a robot arm with the same end-effector, whose camera perspective matches the recorded perspective, enabling imitation learning transfer. The dataset contains 1,459 episodes, 140,522 frames, 30 fps, in LeRobot v3.0 format (Parquet + AV1 video). Observations are observation.images.camera (480×640×3 RGB video), actions are 7D float vectors: ee.x, ee.y, ee.z, ee.wx, ee.wy, ee.wz, ee.gripper_pos. The training set is merged from two subsets with the same modality, frame rate, and encoder (1,302 and 157 episodes), all episodes pass visual quality check. Gripper position channel is normalized to a unified range for cross-episode comparison. The paired validation set is zfff/sroiv2_strawberry_picking_lab_validation (recorded on a different date, no leakage). Suitable for imitation learning and action prediction tasks in robot strawberry picking.
数据集概述
本数据集为 SROI v2（草莓采摘机器人操作接口） 在实验室环境下、存在遮挡情况下的训练集，由浙江大学开发，用于通过模仿学习实现草莓采摘机器人操作。
基本信息
- 数据集名称： SROI v2 — Strawberry Picking (Lab, Occlusion) — Training Set
- 任务： 采摘草莓（单一任务，共1,459个片段）
- 许可证： Apache-2.0
- 格式： LeRobot v3.0（Parquet + AV1视频）
数据采集
- 采集方式： 人类操作员使用SROI V2手持式采集设备在实验室环境中对活体草莓植株进行采摘示范，未使用机械臂
- 设备组成： UMI风格夹爪，集成Intel RealSense D405立体相机（18mm立体基线），480×640 RGB，30 fps，第一人称视角
- 动作恢复： 7自由度末端执行器动作为离线恢复——设备轨迹来自ORB-SLAM3立体SLAM（夹爪在跟踪帧中被掩蔽），夹爪开合来自夹爪上的AprilTags标签
- 部署方式： 学习策略部署在搭载相同末端执行器的机器人手臂上，其相机视角与录制的视角一致，此视角匹配是实现模仿学习迁移的关键
数据规模
| 项目 | 数值 |
|---|---|
| 片段数 | 1,459 |
| 总帧数 | 140,522 |
| 帧率 | 30 fps |
| 总视频大小 | 约2.3 GB（13个文件） |
数据构成
合并自两个具有相同模式、帧率和编码器的数据集合（经官方lerobot_edit_dataset合并工具合并，所有片段均通过视觉质量检查，评级为“ok”）：
sroiv2_strawberry_picking_lab_1302_occlusion：1,302个片段，121,262帧sroiv2_strawberry_picking_lab_157_occlusion：157个片段，19,260帧
数据特征
- 观测：
observation.images.camera— 480×640×3 RGB视频（AV1编码，yuv420p像素格式） - 动作：
action— 7维float32，包含ee.x, ee.y, ee.z, ee.wx, ee.wy, ee.wz, ee.gripper_pos（末端执行器位置、姿态及夹爪位置） - 夹爪归一化： 夹爪位置通道归一化为单一共享范围（源自
1000-onesb训练记录，gripper_min_distance=84.079，gripper_max_distance=261.780，记录于meta/gripper_normalization.json），action[6]可在所有片段间直接比较 - 其他特征： 包含时间戳、帧索引、片段索引、索引及任务索引
注意事项
- 数据集划分：仅含训练集（
splits: {"train": "0:1459"}） - 配套评估集：
zfff/sroiv2_strawberry_picking_lab_validation（在不同日期记录，无数据泄漏） meta/info.json中的robot_type: "so100"为转换脚本的硬编码默认值，未描述采集设备——数据为人类使用SROI V2手持设备采集
引用与项目
- 项目页面： agroboticsresearch.github.io/sroi_v2（所有SROI数据集：agroboticsresearch.github.io/sroi_datasets）
- 引用文献： Hou, L., Lu, W., Wang, Y., Peng, C., & Fei, Z. (2025). Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Cultivation. IFAC-PapersOnLine, 59(23), 303–308.
