DBD-research-group/BirdSet

BirdSet是一个大规模的音频分类数据集，专注于鸟鸣声学。它包含超过6,800小时的录音，涵盖了近10,000个类别的训练数据，以及超过400小时、涵盖八个强标签评估数据集的数据。BirdSet旨在为音频分类任务提供一个丰富的资源，适用于多标签分类、协变量偏移或自监督学习等用例。BirdSet is a large-scale audio classification dataset focusing on avian bioacoustics. It includes over 6,800 hours of recordings for training, covering nearly 10,000 classes, and more than 400 hours of data across eight strongly labeled evaluation datasets. BirdSet aims to provide a rich resource for audio classification tasks, suitable for use cases such as multi-label classification, covariate shift, or self-supervised learning.

原始信息汇总

数据集描述

数据集概述

• 任务类别: 音频分类
• 许可证: cc
• 标签: 鸟类分类, 被动声学监测

数据集详情

• 数据集名称: BirdSet
• 联系人: Lukas Rauch ([e-mail])

数据集组成

• 训练集和测试集: 提供多个训练和测试数据集，涵盖多种鸟类声音分类。
• 数据格式: 使用.ogg格式，采样率为32 kHz。
• 数据来源: 从Xeno-Canto (XC) 获取的录音，排除CC-ND许可的录音。
• 标签: 鸟类科学名称转换为ebird_code标签。

数据集统计

数据集名称	训练样本数	测试样本数	5秒测试样本数	大小 (GB)	类别数
PER (Amazon Basin)	16,802	14,798	15,120	10.5	132
NES (Colombia Costa Rica)	16,117	6,952	24,480	14.2	89
UHH (Hawaiian Islands)	3,626	59,583	36,637	4.92	25 tr, 27 te
HSN (high_sierras)	5,460	10,296	12,000	5.92	21
NBP (NIPS4BPlus)	24,327	5,493	563	29.9	51
POW (Powdermill Nature)	14,911	16,052	4,560	15.7	48
SSW (Sapsucker Woods)	28,403	50,760	205,200	35.2	81
SNE (Sierra Nevada)	19,390	20,147	23,756	20.8	56
XCM (Xenocanto Subset M)	89,798	x	x	89.3	409 (411)
XCL (Xenocanto Complete)	528,434	x	x	484	9,735

数据集使用

• 训练集: 使用XC的焦点音频数据，质量评级为A、B、C，排除CC-ND许可的录音。
• 测试集: 提供完整录音和标签集，排除无鸟叫的录音。
• 5秒测试集: 多标签任务，每个录音分割为5秒间隔，包含无标签的[0]向量。

元数据

• 音频格式: 采样率32 kHz，单声道。
• 标签: ebird_code, ebird_code_multilabel, ebird_code_secondary。
• 其他元数据: 录音的开始时间、结束时间、频率范围、地理位置等。

引用信息

@misc{birdset, title={BirdSet: A Multi-Task Benchmark for Classification in Avian Bioacoustics}, author={Lukas Rauch and Raphael Schwinger and Moritz Wirth and René Heinrich and Jonas Lange and Stefan Kahl and Bernhard Sick and Sven Tomforde and Christoph Scholz}, year={2024}, eprint={2403.10380}, archivePrefix={arXiv}, primaryClass={cs.SD} }

搜集汇总

数据集介绍

构建方式

BirdSet数据集的构建基于大规模的鸟类声音录音，涵盖了来自Xeno-Canto平台的超过6,800小时的录音，涉及近10,000个鸟类物种。数据集的构建过程包括从Xeno-Canto的完整快照中提取与测试数据集中鸟类物种相关的录音，并将其转换为ebird_code标签。所有录音均采用.ogg格式，采样率为32 kHz，并排除了所有CC-ND许可的录音。此外，数据集还提供了详细的元数据，包括录音的许可信息、地理位置、录音质量等，以确保数据的多样性和实用性。

特点

BirdSet数据集的主要特点在于其大规模和多样性，涵盖了超过6,800小时的录音，涉及近10,000个鸟类物种，远超其他音频分类数据集。数据集支持多标签分类、协变量偏移和自监督学习等多种任务，适用于多种音频分类应用场景。此外，数据集还提供了丰富的元数据，包括鸟类物种的科学名称、录音的地理位置、录音质量等，为研究者提供了全面的分析基础。

使用方法

BirdSet数据集可以通过HuggingFace的datasets库进行加载和使用。用户可以选择特定的子数据集，如HSN，并根据需要对数据进行切片和处理。数据集支持音频的动态解码，用户可以通过设置采样率来处理音频数据。对于多标签分类任务，建议使用test_5s数据集，该数据集已预先分割为5秒的片段，每个片段可能包含多个鸟类物种的标签。用户可以通过自定义函数对音频数据进行进一步处理，如提取前5秒的音频片段，并将其转换为频谱图进行训练和测试。

背景与挑战

背景概述

随着深度学习在音频分类领域的快速发展，尽管技术进步显著，但该领域仍面临大规模基准数据集稀缺的挑战。AudioSet作为通用领域的音频数据集，虽然填补了部分空白，但其有限的可用性和缺乏多样化的实际应用场景限制了其进一步发展。为此，DBD研究团队于2024年推出了BirdSet数据集，专注于鸟类生物声学领域。该数据集包含超过6,800小时的录音，涵盖近10,000个类别，旨在通过多标签分类、协变量偏移和自监督学习等多种应用场景，推动鸟类声音识别技术的进步。BirdSet的推出不仅为研究人员提供了丰富的资源，还为成本效益高且非侵入性的被动声学监测技术提供了支持。

当前挑战

BirdSet数据集的构建面临多重挑战。首先，数据集的规模庞大，涵盖了广泛的鸟类物种和环境条件，这要求在数据采集和标注过程中保持高度的准确性和一致性。其次，音频数据的多样性和复杂性使得多标签分类任务变得尤为困难，尤其是在处理包含多种鸟类声音的录音时。此外，数据集的构建过程中还涉及大量的数据处理和格式转换，确保数据的高效存储和快速访问也是一个重要的挑战。最后，由于数据集中的录音来自不同的来源和许可协议，确保数据的合法使用和版权合规性也是一个不容忽视的问题。

常用场景

经典使用场景

BirdSet数据集在鸟类生物声学领域中具有广泛的应用，尤其是在多标签分类任务中表现尤为突出。该数据集通过提供超过6,800小时的录音，涵盖了近10,000个鸟类物种，为研究人员提供了丰富的音频数据资源。其经典使用场景包括鸟类声音的多标签分类、环境条件下的鸟类声音识别以及自监督学习等。通过这些任务，研究人员可以构建和评估模型，以在复杂的环境中准确识别多种鸟类的声音。

解决学术问题

BirdSet数据集解决了鸟类生物声学领域中长期存在的数据稀缺问题，尤其是在大规模音频分类任务中。传统的音频数据集如AudioSet在通用领域表现出色，但在特定领域如鸟类声音识别中，其数据量和多样性不足。BirdSet通过提供更大规模、更多样化的数据，推动了模型在复杂环境下的表现，尤其是在多标签分类和环境变化下的鸟类声音识别任务中，显著提升了模型的鲁棒性和准确性。

衍生相关工作

BirdSet数据集的发布激发了大量相关研究工作，尤其是在鸟类声音识别和多标签分类领域。许多研究者基于BirdSet开发了新的深度学习模型，以提高鸟类声音识别的准确性和鲁棒性。此外，BirdSet还推动了自监督学习和环境变化下的音频分类研究，为音频分类领域提供了新的研究方向。相关工作不仅在学术界引起了广泛关注，也在实际应用中展现了巨大的潜力。