Visual WetlandBirds Dataset

动物监测是一个重要的研究领域，特别是在当前生物多样性丧失危机的背景下。通过监测收集的数据可以为旨在保护全球生物多样性的决策提供重要的见解和信息。此外，鸟类也可能通过改变其行为来更微妙地响应人类的影响。尽管这些数据的重要性，但现有的鸟类视频数据集非常稀缺，且没有现有数据集提供详细的鸟类行为视频注释。为了填补这一空白，我们的研究引入了第一个专门为鸟类行为检测和物种分类设计的细粒度时空数据集。该数据集解决了对全面鸟类视频数据集的需求，并提供了关于鸟类行为的详细数据，促进了机器学习模型识别这些行为的训练，类似于人类动作识别的进展。所提出的数据集包括在西班牙湿地录制的178个视频，捕捉了13种不同的鸟类执行7种不同的行为类别。Animal monitoring represents a critical research domain, particularly against the backdrop of the ongoing global biodiversity loss crisis. Data collected through monitoring can provide critical insights and information to support decision-making aimed at conserving global biodiversity. Furthermore, birds may respond to human impacts in more subtle ways by altering their behaviors. Despite the importance of such data, existing avian video datasets are extremely scarce, and none of the currently available datasets provide detailed video annotations for bird behaviors. To fill this gap, our study introduces the first fine-grained spatiotemporal dataset specifically designed for bird behavior detection and species classification. This dataset addresses the demand for comprehensive avian video datasets, provides detailed data on bird behaviors, and facilitates the training of machine learning models to recognize these behaviors, paralleling advancements in human action recognition. The proposed dataset comprises 178 videos recorded in Spanish wetlands, capturing 13 distinct bird species performing 7 different behavioral categories.

原始信息汇总

Visual WetlandBirds 数据集概述

数据集简介

Visual WetlandBirds 数据集是一个专门用于鸟类行为检测和物种分类的细粒度时空数据集。该数据集旨在填补现有鸟类视频数据集的空白，特别是缺乏详细行为注释的视频数据集。数据集包含178个在西班牙湿地录制的视频，涵盖了13种不同的鸟类和7种不同的行为类别。

数据内容

• 视频和注释：所有视频和注释可以从 Zenodo 仓库 下载。
• 物种信息：数据集包含13种鸟类，每种鸟类的视频数量和录制时长如下表所示：

常见名称	学名	视频数量	录制时长（分钟）
黄腿鸥	Larus michahellis	13	5.08
白鹡鸰	Motacilla alba	13	4.33
黄苇鳽	Ardeola ralloides	15	4.94
琵嘴鸭	Spatula clypeata	14	3.49
绿头鸭	Anas platyrhynchos	10	2.94
小环颈鸻	Charadrius dubius	10	1.93
彩鹮	Plegadis falcinellus	8	3.96
赤膀鸭	Mareca strepera	13	2.59
黑水鸡	Gallinula chloropus	18	9.18
喜鹊	Pica pica	16	5.95
白骨顶	Fulica atra	19	4.11
黑翅长脚鹬	Himantopus himantopus	14	3.55
红嘴鸥	Chroicocephalus ridibundus	15	6.84

• 注释格式：每个视频的帧级注释以CSV格式提供，每行对应一个视频帧中的一个边界框的注释，包含以下信息：
  1. 左上角X坐标
  2. 左上角Y坐标
  3. 右下角X坐标
  4. 右下角Y坐标
  5. 行为ID
  6. 主体ID（视频中鸟类的唯一标识符）

物种分类

基于YOLOv9模型的物种分类基线结果如下：

指标	结果
精确率	0.835
召回率	0.759
mAP50	0.801
mAP50-95	0.556

行为检测

基于不同视频分类模型的行为检测基线结果如下：

模型	学习率	准确率
MViT	0.005	0.51
S3D	0.005	0.29
SwinTransformer	0.009	0.51
ResNet	0.003	0.56

引用

如果使用该数据集，请引用以下文献：

@misc{rodriguez2025wetlandbirds, title={Visual WetlandBirds Dataset: Bird Species Identification and Behaviour Recognition in Videos}, author={Rodriguez-Juan, Javier and Ortiz-Perez, David and Benavent-Lledo, Manuel and Mulero-Pérez, David and Ruiz-Ponce, Pablo and Orihuela-Torres, Adrian and Garcia-Rodriguez, Jose and Sebastián-González, Esther}, month={dec}, year=2024, publisher={Zenodo}, doi={10.5281/zenodo.14355257}, url={https://doi.org/10.5281/zenodo.14355257} }

许可证

Visual WetlandBirds 数据集采用 MIT 许可证 发布。

致谢

感谢欧洲区域发展基金（ERDF）和MCIN/AEI/10.13039/501100011033对“CHAN-TWIN”项目的支持（资助号：TED2021-130890B-C21 和 HORIZON-MSCA-2021-SE-0，行动号：101086387，REMARKABLE）。此外，还感谢西班牙国家和地区的三个博士研究资助（FPU21/00414, FPU22/04200, FPU23/00532 CIACIF/2021/430 和 CIACIF/2022/175）。

搜集汇总

数据集介绍

构建方式

Visual WetlandBirds数据集的构建基于西班牙湿地的实地拍摄，涵盖了13种不同鸟类及其7种行为类别。研究团队通过高分辨率摄像机捕捉了178段视频，每段视频均经过帧级标注，确保每个帧中的鸟类行为及物种信息得以精确记录。标注数据以CSV格式存储，包含每个帧中鸟类的边界框坐标、行为ID及个体ID，为后续的机器学习模型训练提供了丰富的数据支持。

特点

该数据集的特点在于其精细的时空标注，涵盖了鸟类行为的多样性与复杂性。每段视频不仅记录了鸟类的物种信息，还详细标注了其行为类别，如觅食、飞行等。此外，数据集提供了丰富的视频样本，涵盖了不同环境下的鸟类行为，为研究者提供了多样化的数据来源。数据集的多样性与精细标注使其成为鸟类行为识别与物种分类研究的理想选择。

使用方法

使用Visual WetlandBirds数据集时，研究者可从Zenodo官方仓库下载视频及标注数据。数据集提供了基于YOLOv9模型的物种分类基线，以及多种视频分类模型的行为检测基线，如MViT、S3D、SwinTransformer和ResNet。用户可根据研究需求选择适当的模型进行训练与验证。此外，数据集的使用需遵循MIT许可协议，并在发表相关研究时引用提供的文献信息。

背景与挑战

背景概述

Visual WetlandBirds Dataset由西班牙阿利坎特大学的研究团队于2024年创建，旨在填补鸟类行为识别和物种分类领域的数据空白。该数据集聚焦于西班牙湿地的13种鸟类，记录了178段视频，涵盖了7种不同的行为类别。随着全球生物多样性危机的加剧，动物监测成为保护生态系统的关键手段。该数据集的推出为机器学习模型提供了丰富的训练数据，推动了鸟类行为识别和物种分类的研究进展，类似于人类动作识别领域的突破。通过提供精细的时空注释，该数据集为鸟类行为分析和物种分类提供了重要的研究基础。

当前挑战

Visual WetlandBirds Dataset在构建和应用过程中面临多重挑战。首先，鸟类行为的多样性和复杂性使得行为识别任务极具挑战性，尤其是在视频中捕捉到细微的行为变化。其次，数据集的构建需要高精度的时空注释，这对标注人员的专业知识和耐心提出了极高要求。此外，视频数据的采集受限于自然环境条件，如光照变化、背景干扰等，这些因素增加了数据采集和处理的难度。最后，尽管该数据集为鸟类行为识别提供了重要支持，但其规模相对较小，可能限制了模型训练的泛化能力，未来需要进一步扩展数据规模以提升模型的鲁棒性和准确性。

常用场景

经典使用场景

Visual WetlandBirds Dataset 主要用于鸟类物种识别和行为检测的研究。该数据集包含了178段在西班牙湿地录制的视频，涵盖了13种不同的鸟类和7种行为类别。通过帧级别的注释，研究者可以训练机器学习模型来识别鸟类物种及其行为，类似于人类动作识别领域的研究。这一数据集为鸟类行为研究提供了宝贵的视频数据资源，填补了现有数据集的空白。

解决学术问题

该数据集解决了鸟类行为识别和物种分类中的关键问题。由于鸟类行为的复杂性和多样性，传统的静态图像数据集难以捕捉到行为的动态变化。Visual WetlandBirds Dataset 提供了详细的帧级别注释，使得研究者能够开发出更精确的模型来识别鸟类行为和物种。这不仅推动了鸟类行为学的研究，还为生物多样性保护提供了数据支持。

衍生相关工作

基于 Visual WetlandBirds Dataset，研究者们已经开发了多种模型来进行鸟类物种分类和行为检测。例如，使用 YOLOv9 模型进行物种分类的基线实验，以及基于 MViT、S3D、SwinTransformer 和 ResNet 等视频分类模型的行为检测实验。这些工作不仅验证了数据集的有效性，还为未来的研究提供了参考和基础。