WildDESED

WildDESED是一个LLM驱动的数据集，旨在推动家庭环境中的声音事件检测（SED）研究。该数据集是原始DESED数据集的扩展，通过引入复杂且不可预测的背景噪声，反映更广泛的家庭场景。数据集包括多种家庭场景，如“早晨例行”和“家庭办公室”，并使用大型语言模型（LLMs）确保场景的真实性。背景噪声包括鸟鸣、车辆经过、风扇噪声等，以模拟真实家庭环境。数据集分为多个子集，包括合成训练集、合成验证集、弱标注集、未标注训练集和测试集。

WildDESED is an LLM-driven dataset developed to advance research on sound event detection (SED) in home environments. This dataset is an extension of the original DESED dataset, which incorporates complex and unpredictable background noises to reflect a broader range of home scenarios. It includes various home scenarios such as Morning Routines and Home Offices, and leverages large language models (LLMs) to ensure the authenticity of these scenarios. Background noises include bird chirps, passing vehicles, fan sounds, and others, to simulate realistic home environments. The dataset is divided into multiple subsets, including synthetic training set, synthetic validation set, weakly labeled set, unlabeled training set, and test set.

原始信息汇总

WildDESED 数据集概述

数据集简介

WildDESED 是一个用于家庭环境中声音事件检测（SED）的数据集，它是原始 DESED 数据集的扩展，通过引入复杂和不可预测的背景噪声，反映了更多样化的家庭场景。

关键特性

• 多样化的场景：数据集包含八种家庭场景，如“早晨例行”和“家庭办公室”，这些场景通过大型语言模型（LLMs）设计，以确保真实性。
• 丰富的声学多样性：背景噪声包括鸟鸣、车辆经过、风扇噪声等，以模拟真实家庭环境。

数据集结构

WildDESED 数据集分为以下几个子集：

1. 合成训练集：10,000 个合成录音，带有强标注。
2. 合成验证集：2,500 个合成录音，用于模型验证。
3. 弱标注集：1,578 个真实录音，带有弱标注。
4. 未标注训练集：14,412 个真实、未标注的录音。
5. 测试集：1,168 个真实录音，带有强标注。

噪声类型和场景

数据集包含多种噪声类型，分为以下四组：

1. 环境背景声音：如持续的背景噪声，如小雨和风声。
2. 与人类相关的声音：如间歇性的声音，如脚步声和关门声。
3. 机械声音：如时钟滴答声和咖啡机操作声。
4. 自然和户外声音：如外部噪声，包括鸟鸣和车辆经过声。

每个场景结合了这些噪声和 DESED 数据集中的目标声音类别，确保生成的声音场景既真实又具有挑战性。

场景示例

以下是两个不同场景的视觉表示：

早晨例行	宠物护理

数据集下载

数据集可在此处下载（我们将上传到 zenodo 后提供链接）。请在使用前阅读并遵守数据集的许可条款。

引用

如果您在研究中使用 WildDESED 数据集，请引用我们的论文： bibtex @inproceedings{Xiao2024WildDESED, title={WildDESED: An LLM-Powered Dataset for Wild Domestic Environment Sound Event Detection System}, author={Yang Xiao and Rohan Kumar Das}, booktitle={Proceedings of the Detection and Classification of Acoustic Scenes and Events 2024 Workshop (DCASE2024)}, year={2024}, }

搜集汇总

数据集介绍

构建方式

WildDESED数据集的构建基于原始的DESED数据集，通过引入复杂且不可预测的背景噪声，扩展了其在家庭环境中的应用场景。该数据集利用大型语言模型（LLMs）设计了八种不同的家庭场景，如'Morning Routine'和'Home Office'，确保了场景的真实性。这些场景结合了来自DESED的目标声音类别和多种噪声类型，包括环境声音、人类相关声音、机械声音和自然及户外声音，从而生成既真实又具有挑战性的声音环境，旨在提升声音事件检测（SED）系统的鲁棒性。

特点

WildDESED数据集的主要特点在于其多样化的场景和丰富的声学变异。数据集涵盖了八种不同的家庭场景，每个场景都经过精心设计，以反映真实家庭环境的复杂性。此外，数据集包含了四种不同类别的噪声，这些噪声被整合到目标声音类别中，使得声音环境更加逼真和复杂。这种设计不仅增强了数据集的实用性，也为开发和评估噪声鲁棒的SED系统提供了理想的平台。

使用方法

使用WildDESED数据集进行训练和评估时，用户首先需要安装所需的依赖包，可以通过运行`pip install -r requirements.txt`来完成。训练过程可以通过运行`python train_sed.py`进行，而使用课程学习的方法则可以通过运行`python train_sed_cl.py`来实现。此外，用户需要遵循DCASE 2024任务4的指导来下载DESED数据集。在使用数据集时，请确保遵守其许可条款，并在研究中引用相关文献以确保学术诚信。

背景与挑战

背景概述

WildDESED数据集是基于原始DESED数据集的扩展，旨在推动家庭环境中声音事件检测（SED）的研究。该数据集由Yang Xiao和Rohan Kumar Das创建，通过引入复杂且不可预测的背景噪声，模拟了更多样化的家庭场景。WildDESED的创建利用了大型语言模型（LLMs），确保了场景的真实性，并包含了如'Morning Routine'和'Home Office'等八种家庭场景。这些特性使得WildDESED成为开发和评估噪声鲁棒SED系统的强大资源，对提升家庭环境中的声音事件检测技术具有重要意义。

当前挑战

WildDESED数据集在构建过程中面临多项挑战。首先，如何有效地模拟真实家庭环境中的复杂背景噪声，确保数据集的多样性和真实性，是一个主要难题。其次，数据集的标注工作，特别是处理弱标注和无标注数据，增加了数据集构建的复杂性。此外，如何在保持数据集规模的同时，确保每个场景的声学特性足够丰富，以支持SED系统的训练和评估，也是一大挑战。这些挑战不仅涉及技术层面的实现，还关系到数据集对实际应用的适应性和有效性。

常用场景

经典使用场景

在声学事件检测（SED）领域，WildDESED数据集以其丰富的家庭环境声学场景和复杂的背景噪声而著称。该数据集通过整合多种家庭日常场景，如'晨间例行'和'家庭办公室'，为研究人员提供了一个高度真实的声学环境模拟平台。这些场景不仅涵盖了自然环境声音，如鸟鸣和车流，还包括机械声音和人类活动声音，如脚步声和关门声。通过这些多样化的声学数据，研究人员能够开发和评估在复杂家庭环境中具有鲁棒性的SED系统。

解决学术问题

WildDESED数据集在解决声学事件检测中的噪声鲁棒性问题上具有重要意义。传统的SED系统在面对复杂和不可预测的背景噪声时往往表现不佳，而WildDESED通过提供包含多种噪声类型的真实家庭环境录音，为这一问题提供了有效的解决方案。该数据集不仅推动了SED技术在实际应用中的性能提升，还为相关领域的学术研究提供了宝贵的资源，促进了噪声环境下声学事件检测算法的发展。

衍生相关工作

基于WildDESED数据集，许多研究工作得以展开，推动了声学事件检测技术的发展。例如，有研究利用该数据集开发了基于深度学习的噪声鲁棒性SED模型，显著提升了在复杂环境中的检测性能。此外，还有工作探讨了如何利用大规模语言模型（LLMs）生成更加真实的声学场景，进一步丰富了数据集的应用场景。这些衍生工作不仅扩展了WildDESED的应用范围，也为SED领域的技术创新提供了新的思路。