MammAlps

MammAlps是一个多模态和多视角的野生动物行为监测数据集。在瑞士国家公园放置了九个相机陷阱，从中我们整理了超过14小时的带音频视频、2D分割图和8.5小时的个体跟踪数据，密集标注了物种和行为。

MammAlps is a multi-modal and multi-view wildlife behavior monitoring dataset. Nine camera traps were deployed in the Swiss National Park, and we curated over 14 hours of audiovisual data, 2D segmentation maps, and 8.5 hours of individual tracking data from these traps, with dense annotations for species and behaviors.

原始信息汇总

MammAlps 数据集概述

数据集简介

• 名称: MammAlps - 瑞士阿尔卑斯山野生哺乳动物多视角视频行为监测数据集
• 类型: 多模态、多视角野生动物行为监测数据集
• 数据来源: 瑞士国家公园部署的9个相机陷阱
• 数据内容:
  • 超过14小时的带音频视频
  • 2D分割图
  • 8.5小时的个体轨迹数据（密集标注物种和行为）

基准任务

1. 基准任务I - 多模态物种和行为识别:

   • 基于6,135个单一动物片段
   • 使用音频、视频和参考场景分割图作为输入
   • 目标: 分层多模态动物行为识别

2. 基准任务II - 多视角长期事件理解:

   • 基于397个多视角长期生态事件
   • 包括误报触发
   • 目标: 识别活动、物种、个体数量和气象条件

数据获取

• 下载地址: https://doi.org/10.5281/zenodo.15040901

引用格式

bibtex @article{gabeff2025mammalps, title={MammAlps: A multi-view video behavior monitoring dataset of wild mammals in the Swiss Alps}, author={Valentin Gabeff and Haozhe Qi and Brendan Flaherty and Gencer Sumbül and Alexander Mathis and Devis Tuia}, year={2025}, journal={arXiv}, doi={10.48550/arXiv.2503.18223}, }

许可协议

• 许可证类型: MIT许可证

搜集汇总

数据集介绍

构建方式

在野生动物行为监测领域，MammAlps数据集的构建采用了多模态多视角采集策略。研究团队在瑞士国家公园部署了9台自动触发式摄像机，通过野外实地拍摄收集了超过14小时带音频的视频素材。数据经过专业标注处理，包含2D场景分割图和8.5小时的个体追踪数据，每个追踪样本均标注了物种分类和行为特征。数据集采用层次化标注体系，特别设计了生态事件的多视角长时序记录方案，有效捕捉了野生动物在自然环境中的复杂行为模式。

特点

作为高山生态系统研究的珍贵资源，MammAlps具有显著的多维特征优势。数据集包含6,135个独立动物视频片段，整合了视觉、听觉和场景分割三种模态数据，为跨模态行为分析提供了可能。其特色在于同时提供短期行为片段和长达397个的多视角生态事件序列，涵盖物种识别、群体活动、气象条件等多元标注信息。特别值得注意的是数据集包含设备误触发的负样本，这对野外监测算法的鲁棒性评估具有重要价值。

使用方法

该数据集支持两种典型的生态学研究范式。研究者可通过单动物片段开展多模态物种行为识别，利用视频、音频和分割图的互补信息建立分类模型。针对长期生态监测需求，多视角事件数据支持开发时空推理算法，用于分析动物群体动态和环境影响。数据集采用标准视频格式存储，配套标注文件遵循分层JSON结构，便于计算机视觉和生态学领域的交叉研究。使用前需通过Zenodo平台获取授权，建议配合原始论文提供的基准任务开展对比实验。

背景与挑战

背景概述

MammAlps数据集由瑞士洛桑联邦理工学院（EPFL）的计算神经科学与人工智能研究组（Mathis Group）和环境计算科学与地球观测实验室联合开发，于2025年正式发布。该数据集聚焦于野生动物行为监测领域，通过在瑞士国家公园部署的9个相机陷阱，采集了超过14小时的多模态视频数据，包含音频、2D分割图以及8.5小时的个体追踪标注。数据集的核心研究问题在于通过多视角、多模态数据提升野生动物物种识别和行为分析的准确性，为生态学研究和生物多样性保护提供了重要的数据支持。MammAlps的发布填补了野生动物行为监测领域高质量标注数据的空白，对计算机视觉与生态学的交叉研究具有显著的推动作用。

当前挑战

在野生动物行为监测领域，MammAlps数据集旨在解决多视角视频中物种识别和行为分类的复杂性问题。由于野生动物活动具有高度动态性和环境依赖性，传统方法难以在多变的光照条件和复杂背景干扰下实现稳定识别。数据集构建过程中，研究人员面临多方面的技术挑战：多相机同步拍摄带来的数据对齐问题、野外环境中音频与视频信号的噪声干扰、以及密集标注所需的大量人工成本。此外，长期监测产生的海量数据对存储和计算资源提出了更高要求，而野生动物行为的多样性和不可预测性也增加了标注的一致性和准确性难度。

常用场景

经典使用场景

在野生动物行为监测领域，MammAlps数据集以其多模态和多视角的特性成为研究动物行为的宝贵资源。该数据集通过九台摄像机捕捉瑞士国家公园内野生动物的行为，提供了超过14小时的视频和音频数据，以及2D分割图和8.5小时的个体追踪数据。这些数据为研究者提供了一个全面的平台，用于分析和理解野生动物在自然环境中的行为模式。

衍生相关工作

MammAlps数据集已衍生出多项经典研究工作，特别是在多模态行为识别和生态事件分析领域。基于该数据集提出的两个基准任务（多模态物种行为识别和多视角长期事件理解）为后续研究提供了标准化评估框架。相关成果在计算生态学和动物行为学领域产生了深远影响，推动了人工智能技术在野生动物监测中的应用。

数据集最近研究

最新研究方向

随着计算机视觉与生态学的交叉融合不断深入，野生动物行为监测领域正迎来技术革新的关键阶段。MammAlps数据集作为首个聚焦阿尔卑斯山野生哺乳动物的多视角视频行为监测资源，为跨模态物种识别与行为理解研究提供了重要基准。该数据集通过融合音频、视频及场景分割信息，推动了基于深度学习的多层次动物行为分类模型的发展，尤其在应对复杂自然场景下的长时序事件解析方面展现出独特价值。近期研究热点集中于多传感器数据融合策略的优化，以及如何利用时空上下文信息提升跨视角行为关联分析的准确性，这些探索为濒危物种保护与生态系统动态监测提供了新的技术路径。