Prompting-MammAlps
收藏资源简介：
MammAlps-S2是一个在瑞士国家公园采集的野生动物监测相机陷阱视频数据集，涵盖2023年和2024年两个夏季野外季节。该数据集包含2,865个视频片段（1920×1080分辨率MP4格式，总时长约18.4小时，未压缩大小约75GB），记录了7种阿尔卑斯哺乳动物物种（包括马鹿、狍、赤狐、狼、雪兔、岩羚羊和貂）的活动。每个视频片段均标注了逐帧边界框、持久性动物轨迹、物种标签、行为动作/活动标签以及人口统计属性（鹿种的年龄和成年鹿的性别）。数据集分为训练集（2,090个视频）和测试集（775个视频），采用随机划分采集日的方式保持标签分布平衡。基于这些密集标注，研究者构建了Prompting-MammAlps文本到视频检索基准，包含135个自然语言查询，每个查询与完全满足查询内容的训练/测试视频子集相关联。查询按生态相关性（稀有事件、求偶相关、社交互动、相机反应、常见事件）和检索复杂性（单属性、多属性、多个体、复杂推理、视频比较）进行分类。数据集适用于物种识别、行为识别与分割、遮挡下的多动物跟踪、时空动作定位和文本到视频检索等研究任务。数据采集使用Browning Spec Ops Elite HP5相机陷阱，部署在瑞士国家公园内的三个站点，共15个独特相机视角。注释过程包括物种视觉鉴定和行为标注，行为标注方案基于已发表的蹄类动物行为谱，最终形成23个动作和12个活动的词汇表。数据集采用CC BY-NC 4.0许可证（非商业用途），仅包含英语内容。
MammAlps-S2 is a wildlife monitoring camera trap video dataset collected in the Swiss National Park, covering two summer field seasons in 2023 and 2024. The dataset contains 2,865 video clips (MP4 format with 1920×1080 resolution, total duration approximately 18.4 hours, uncompressed size about 75GB), capturing activities of 7 Alpine mammal species (including red deer, roe deer, red fox, wolf, mountain hare, chamois, and pine marten). Each video clip is annotated with per-frame bounding boxes, persistent animal trajectories, species labels, behavior action/activity labels, and demographic attributes (age for deer species and sex for adult deer). The dataset is split into a training set (2,090 videos) and a test set (775 videos), with random partitioning of collection days to maintain balanced label distributions. Based on these dense annotations, researchers constructed the Prompting-MammAlps text-to-video retrieval benchmark, comprising 135 natural language queries, each associated with a subset of training/test videos that fully satisfy the query content. Queries are categorized by ecological relevance (rare events, courtship-related, social interactions, camera reactions, common events) and retrieval complexity (single attribute, multiple attributes, multiple individuals, complex reasoning, video comparison). The dataset is suitable for research tasks such as species identification, behavior recognition and segmentation, multi-animal tracking under occlusion, spatio-temporal action localization, and text-to-video retrieval. Data collection used Browning Spec Ops Elite HP5 camera traps, deployed at three sites within the Swiss National Park, totaling 15 unique camera perspectives. The annotation process includes species visual identification and behavior labeling, with a behavior labeling scheme based on published ungulate ethograms, resulting in a vocabulary of 23 actions and 12 activities. The dataset is licensed under CC BY-NC 4.0 (non-commercial use) and contains only English content.
数据集概述
基本信息
- 数据集名称: MammAlps-S2 & Prompting-MammAlps
- 许可证: CC BY-NC 4.0（非商业用途）
- 语言: 英文
- 任务类别: 视频分类、其他（物种识别、行为识别与分割、多动物遮挡跟踪、时空动作定位、文本到视频检索）
- 数据集大小: 1K < n < 10K
- 注释创建者: 专家生成
- 语言创建者: 专家生成
- 多语言性: 单语（英文）
数据集描述
MammAlps-S2是一个相机陷阱视频数据集，用于监测瑞士国家公园的野生动物，覆盖2023年和2024年两个夏季野外季节。包含7种高山哺乳动物的视频片段，带有每帧边界框、个体轨迹、行为标签和帧级属性（鹿科动物的年龄和成年鹿的性别）。它扩展了原始的MammAlps数据集，新增了一个季节的数据、精细化标签和额外属性。
基于这些密集注释，构建了一个文本到视频检索（TVR）基准——Prompting-MammAlps。135个自然语言查询，每个查询关联到内容完全满足该查询的部分训练/测试视频。
数据集结构
| 项目 | 数值 |
|---|---|
| 数据模态 | 视频片段（MP4, 1920×1080）、文本查询 |
| 注释类型 | 动物轨迹 + 帧级属性 |
| 总视频数 | 2,865 |
| 训练/测试划分 | 2,090 / 775 个视频 |
| 总时长 | 18.4 小时 |
| 视频时长 | 最短 1.2 秒 — 平均 23.1 秒 — 最长 120.8 秒 |
| 数据集大小（未压缩） | ~75 GB |
| 物种数 | 7 |
| 动作数 | 23 |
| 活动数 | 12 |
| 天气类别数 | 4 |
| TVR查询数 | 135 |
| 每个查询的视频数（训练） | 最少 0 — 平均 57.8 — 最多 1,110 |
| 每个查询的视频数（测试） | 最少 0 — 平均 20.8 — 最多 373 |
| 记录时间 | 2023年8月–10月 和 2024年6月–8月 |
| 注释格式 | JSON（每个视频）、CSV元数据索引 |
数据字段
每个注释JSON文件包含两个顶层键：info 和 frames。
info — 视频级元数据：
file_id： 字符串，唯一视频标识符site_id： 字符串，站点标识符（S1、S2 或 S3）cam_id： 字符串，相机标识符（如 C1）width： 整数，帧宽（1920）height： 整数，帧高（1080）attributes.weather： 字符串，视频级天气标签（sunny、clear、overcast或rainy）
frames — 每帧对象列表：
frame_id： 整数，零基帧索引detections： 列表，该帧检测对象列表（可能为空）
每个检测对象包含：
track_id： 整数，视频内跨帧的持久动物身份segment_id： 整数，轨迹片段标识符bbox： 列表[整数]，边界框 [x_min, y_min, x_max, y_max]（像素）attributes.Species： 字符串，物种标签attributes.Action： 字符串，主要动作标签attributes.Action2： 字符串，次要动作标签或"none"attributes.Activity： 字符串，活动标签attributes.Deer_age： 字符串，adult/juvenile（仅鹿科动物）attributes.Deer_adult_sex： 字符串，male/female（仅成年鹿）
数据划分
- 训练集: 2,090 个视频
- 测试集: 775 个视频
划分方式：按采集日期随机划分，同时保持各集合标签分布相似。
TVR基准 — Prompting-MammAlps
135个自然语言查询，沿两个独立轴分类：
生态相关性（ECOLOGY）：
| 类别 | 描述 |
|---|---|
RARE |
具有生态意义的稀有事件 |
COURTSHIP |
求偶相关行为 |
SOCIAL |
其他社交互动 |
CAMERA_REACTION |
动物对相机陷阱的反应 |
COMMON |
频繁基线事件 |
检索复杂度（VISION）：
| 类别 | 描述 |
|---|---|
SINGLE_ATTR |
指定单一属性的查询 |
MULTI_ATTR |
组合两个或更多属性的查询 |
MULTI_INDIV |
需要同时涉及两个或更多个体信息的查询 |
COMPLEX |
需要时序或关系推理的查询 |
VIDEO_COMPARISON |
引用另一视频并要求相关内容的查询 |
视频仅在其包含至少一个完全满足查询所有元素的行为片段时才关联该查询；部分匹配被排除。
数据集创建
- 策展方: 环境计算科学与地球观测实验室（EPFL）和计算神经科学与AI的Mathis Group（EPFL）
- 资助方: EPFL SV-ENAC I-PhD项目；瑞士SNF基金 320030-227871
- 共享方: ECEO, EPFL
- 源数据: 使用Browning Spec Ops Elite HP5相机陷阱在瑞士国家公园三个站点录制
- 物种: 红鹿、狍、赤狐、狼、山兔、岩羚羊、貂
- 行为注释方案: 源自两个已发表的有蹄类动物行为谱，最终词汇表包含23个动作和12个活动
- 注释者: Valentin Gabeff（野生动物行为与生态学领域专家）、Jennifer Shan
- TVR查询定义: Valentin Gabeff 与 Blair Costelloe 合作
偏差、风险与局限性
- 视频经过裁剪（使用MegaDetector检测），可能引入假阴/假阳性
- 不同年份采集时期不同，模型可能无法跨季节泛化
- 相机陷阱偏向检测大型和中型脊椎动物
- 所有视频来自瑞士国家公园内三个站点，泛化到其他栖息地无保证
引用
BibTeX引用信息尚未提供。有关原始MammAlps数据集的更多信息，请访问：MammAlps
版本记录
| 版本 | 日期 | 备注 |
|---|---|---|
| v0 | 2026-06-30 | 初始发布 |
联系方式
- Valentin Gabeff（数据集策展人）
- Devis Tuia（项目负责人）
- Alexander Mathis（项目负责人）
相关链接
