minssuung/store_play_v1_en_bbox_annotations
收藏资源简介：
store_play_v1_en — 自动边界框注释数据集是为minssuung/store_play_v1_en LeRobotDataset自动生成的边界框注释。它包含两个文件：auto_annotations_top.parquet（14MB，顶视图，使用YOLOv8n R4模型生成）和auto_annotations_wrist_right.parquet（7.3MB，右腕视图，使用YOLOv8n R5模型生成）。数据模式包括episode_index、frame_index、global_index、n_detections以及五个类别的边界框和置信度字段（草莓、西兰花、葡萄、猕猴桃、菠萝）。对于同一类别的多个检测，仅保留最高置信度的结果。检测率显示顶视图的检测率较高（任何检测达99.6%），而右腕视图由于相机移动导致检测率较低（任何检测达58.5%）。YOLO检测器质量指标显示高精度和召回率。数据集适用于机器人视觉语言动作（VLA）和边界框接地任务，语言为英语。
许可证：Apache-2.0 标签：机器人学、视觉语言动作（VLA）、边界框（bbox）、视觉锚定（grounding） 语言：英语 # store_play_v1_en — 自动边界框标注 本数据集为`minssuung/store_play_v1_en` LeRobotDataset的自动生成边界框标注文件。 ## 文件列表 - `auto_annotations_top.parquet`（14MB）：顶视角自动标注文件，由YOLOv8n R4模型生成 - `auto_annotations_wrist_right.parquet`（7.3MB）：右侧腕部视角自动标注文件，由YOLOv8n R5模型生成 ## 通用数据Schema | 列名 | 数据类型 | 描述 | |---|---|---| | episode_index | 整数 | 剧集索引 | | frame_index | 整数 | 单剧集内的帧索引 | | global_index | 整数 | 数据集全局索引 | | n_detections | 整数 | YOLO总检测目标数 | | bbox_strawberry | 列表[float, 4] 或 空值 | 归一化至0-1区间的(x1, y1, x2, y2)格式草莓边界框 | | bbox_broccoli | 列表[float, 4] 或 空值 | 西兰花边界框 | | bbox_grape | 列表[float, 4] 或 空值 | 葡萄边界框 | | bbox_kiwi | 列表[float, 4] 或 空值 | 猕猴桃边界框 | | bbox_pineapple | 列表[float, 4] 或 空值 | 菠萝边界框 | | conf_strawberry | 浮点数 或 空值 | YOLO检测草莓的置信度 | | conf_broccoli | 浮点数 或 空值 | YOLO检测西兰花的置信度 | | conf_grape | 浮点数 或 空值 | YOLO检测葡萄的置信度 | | conf_kiwi | 浮点数 或 空值 | YOLO检测猕猴桃的置信度 | | conf_pineapple | 浮点数 或 空值 | YOLO检测菠萝的置信度 | 本数据集共包含5个检测类别：草莓、西兰花、葡萄、猕猴桃、菠萝。若同一类别存在多个检测结果，仅保留置信度最高的标注。 ## 检测率 ### 顶视角（R4模型，mAP50=0.989） - 草莓：70.7% - 西兰花：70.1% - 葡萄：68.8% - 猕猴桃：67.6% - 菠萝：67.4% - 任意类别检测：99.6% ### 右侧腕部视角（R5模型，mAP50=0.9863，验证集mAP50-95=0.891） - 草莓：31.1% - 西兰花：43.3% - 葡萄：29.3% - 猕猴桃：28.8% - 菠萝：25.3% - 任意类别检测：58.5% 腕部视角的检测率较低符合预期——腕部相机随机械臂夹爪移动，多帧场景下目标会脱离相机视野。 ## YOLO检测器性能 ### R5模型（顶视角+腕部视角联合）—— 腕部验证集（样本量n=50） - 真阳性（TP）=185，假阳性（FP）=5，假阴性（FN）=1，类别错配=3 - 精确率：0.959 - 召回率：0.979 ### R4模型（仅顶视角）—— 训练集评估（样本量n=250） - 精确率：0.999，召回率：0.996，类别混淆率=0 ## LeRobotDataset 使用示例 python from lerobot.datasets.lerobot_dataset import LeRobotDataset import polars as pl ds = LeRobotDataset("minssuung/store_play_v1_en") annos_top = pl.read_parquet("auto_annotations_top.parquet") annos_wrist = pl.read_parquet("auto_annotations_wrist_right.parquet") # 基于global_index进行关联 for i in range(len(ds)): sample = ds[i] top_anno = annos_top.filter(pl.col("global_index") == i) # ... 使用边界框进行监督学习、掩码生成等任务
