pengxiang/W-CODA2024-Track2

该数据集包含用于ECCV 2024 W-CODA（自动驾驶中的多模态感知与理解）Track 2研讨会的辅助数据文件。这些文件提供了nuScenes验证集的元数据，用于评估视频生成和检测/分割结果。数据集包含两个主要的pickle文件，分别用于关键帧的检测和分割性能评估以及视频帧的Fréchet Video Distance (FVD)计算。

原始信息汇总

W-CODA2024 Track 2 Dataset

数据集描述

该数据集包含W-CODA（多模态感知和理解自动驾驶中的边缘案例）Track 2研讨会（ECCV 2024）的辅助数据文件。这些文件提供了nuScenes验证集的元数据，用于评估视频生成和检测/分割结果。

数据文件

1. nuscenes_infos_temporal_val_3keyframes.pkl

   • 包含nuScenes验证集中150个场景的关键帧信息。
   • 每个场景提取了前16帧中的3个关键帧。
   • 用于评估关键帧上的目标检测和分割性能。
   • 格式：Python pickle文件，使用mmcv.load()加载。

2. nuscenes_infos_temporal_val_12hz.pkl

   • 包含nuScenes验证集中150个场景的元数据。
   • 提供每个场景的前16帧（12Hz）。
   • 用于计算生成视频与真实视频之间的Fréchet视频距离（FVD）。
   • 格式：Python pickle文件，使用mmcv.load()加载。

数据集结构

加载的pickle文件包含一个字典列表，每个字典对应一帧，包含scene_token、frame_idx、gt_boxes、gt_names、cams等字段。这些字段的含义与原始的nuScenes标注一致。

下载

从Hugging Face下载文件：

• nuscenes_infos_temporal_val_3keyframes.pkl
• nuscenes_infos_temporal_val_12hz.pkl

搜集汇总

背景与挑战

背景概述

该数据集包含nuScenes验证集的元数据文件，用于评估自动驾驶场景中的视频生成和检测/分割性能。包含两个关键文件：3关键帧信息文件（用于检测/分割评估）和12Hz帧序列文件（用于视频生成质量评估）。