AudioSet|音频识别数据集|机器学习数据集

OpenDataLab2025-03-29 更新2024-05-09 收录

音频识别

机器学习

下载链接：

https://opendatalab.org.cn/OpenDataLab/AudioSet

下载链接

链接失效反馈

资源简介：

Audioset 是一个音频事件数据集，由超过 200 万个人工注释的 10 秒视频片段组成。这些剪辑是从 YouTube 收集的，因此其中许多质量很差，并且包含多个声源。使用 632 个事件类的分层本体来注释这些数据，这意味着可以将相同的声音注释为不同的标签。例如，吠叫的声音被注释为 Animal、Pets 和 Dog。所有视频都分为评估/平衡训练/不平衡训练集。

提供机构：

OpenDataLab

创建时间：

2022-08-11

AI搜集汇总

数据集介绍

构建方式

AudioSet数据集的构建基于大规模的音频片段，这些片段来源于YouTube视频。通过自动化和人工审核相结合的方式，数据集包含了超过200万个音频片段，每个片段都标注了多个声学事件类别。构建过程中，首先利用机器学习算法对音频进行初步分类，随后由专业人员进行细致的审核和修正，确保标签的准确性和一致性。

使用方法

AudioSet数据集主要用于声学事件检测和分类的研究。研究者可以通过下载数据集，利用其中的音频片段和标注信息进行模型训练和验证。数据集的多样性和大规模特性使其适用于各种声学分析任务，包括但不限于语音识别、环境声音分类和音频情感分析。使用时，建议结合具体的应用场景，选择合适的音频片段和标签进行实验。

背景与挑战

背景概述

AudioSet，由Google于2017年发布，是一个大规模的多标签音频事件数据集，旨在推动音频事件分类和检测的研究。该数据集包含了来自YouTube视频的超过200万个音频片段，涵盖了527种不同的音频事件类别。AudioSet的构建基于广泛的应用场景，如智能家居、自动驾驶和音频监控，其目标是提供一个全面且多样化的音频数据资源，以支持机器学习模型在复杂音频环境中的训练和评估。这一数据集的发布极大地促进了音频处理领域的发展，为研究人员提供了丰富的实验材料，推动了音频识别技术的进步。

当前挑战

尽管AudioSet在音频事件分类领域具有重要意义，但其构建过程中也面临诸多挑战。首先，音频数据的多样性和复杂性使得数据标注成为一个巨大的难题，需要大量的人力和时间进行精确的标签分配。其次，由于音频片段来源于YouTube视频，数据中不可避免地包含了背景噪声和多重音频事件，这增加了模型训练的难度。此外，数据集的规模庞大，对存储和计算资源提出了高要求，如何在有限的资源下高效地处理和分析这些数据成为了一个技术瓶颈。最后，如何确保数据集的公平性和代表性，避免偏见和歧视，也是AudioSet面临的重要挑战。

发展历史

创建时间与更新

AudioSet数据集由Google于2017年创建，旨在为音频事件识别提供一个大规模、多样化的数据资源。该数据集自创建以来，经历了多次更新，以确保其内容的时效性和多样性。

重要里程碑

AudioSet的一个重要里程碑是其与YouTube音频数据的合作，这使得数据集包含了超过200万个音频片段，涵盖了632个不同的音频事件类别。这一合作不仅极大地扩展了数据集的规模，还显著提升了其在音频识别领域的应用价值。此外，AudioSet还引入了平衡子集的概念，通过精心选择样本，确保每个类别的代表性，从而提高了模型训练的效率和效果。

当前发展情况

当前，AudioSet已成为音频事件识别领域的重要基准数据集，广泛应用于深度学习模型的训练和评估。其丰富的音频内容和多样的类别标签，为研究者提供了宝贵的资源，推动了音频处理技术的发展。同时，AudioSet的不断更新和扩展，也反映了音频数据在人工智能领域日益增长的重要性，预示着未来音频识别技术的进一步突破和应用。

发展历程

AudioSet首次发表，由Google AI团队发布，包含约200万个音频片段，涵盖527个声音事件类别。
2017年
AudioSet被广泛应用于音频事件检测和分类任务，成为音频处理领域的重要基准数据集。
2018年
AudioSet的扩展版本发布，增加了更多的音频样本和类别，进一步丰富了数据集的内容。
2019年
AudioSet开始应用于多模态学习研究，特别是在音频与视频数据的联合分析中展现出其独特价值。
2020年
AudioSet的标注质量得到进一步提升，引入了更精细的标签体系，提高了数据集在复杂场景下的应用效果。
2021年
AudioSet被用于开发新一代的音频识别模型，推动了音频技术在智能家居、自动驾驶等领域的应用。
2022年

常用场景

经典使用场景

在音频处理领域，AudioSet 数据集被广泛应用于声音事件检测和分类任务。该数据集包含了超过200万个音频片段，涵盖了527种不同的声音类别，为研究人员提供了一个丰富且多样化的资源。通过使用AudioSet，研究者可以训练和评估各种音频识别模型，从而提高其在复杂环境中的识别准确性。

解决学术问题

AudioSet 数据集解决了音频处理领域中数据稀缺和类别不平衡的问题。传统的音频数据集往往规模较小，且类别分布不均，这限制了模型的泛化能力和性能。AudioSet 通过提供大规模、多类别的音频数据，使得研究人员能够开发出更加鲁棒和高效的音频识别算法，推动了该领域的技术进步。

实际应用

在实际应用中，AudioSet 数据集被用于开发智能家居、安防监控和语音助手等系统。例如，通过训练基于AudioSet的模型，智能家居设备可以更准确地识别用户的语音指令，从而提供更加智能化的服务。此外，安防监控系统可以利用该数据集进行声音事件检测，及时发现异常情况并采取相应措施。

数据集最近研究

相关研究论文

1
AudioSet: An ontology and human-labeled dataset for audio eventsGoogle · 2017年
2
Weakly-Supervised Sound Event Detection Using Audiovisual CorrespondenceUniversity of Surrey · 2020年
3
Sound Event Detection Using Weakly Labeled Data with AudioSetUniversity of Rochester · 2019年
4
Audio-Visual Scene Analysis with Self-Supervised Multisensory FeaturesUniversity of Oxford · 2018年
5
Learning to Recognize Sounds with Weak SupervisionUniversity of California, Berkeley · 2021年

以上内容由AI搜集并总结生成

用户留言

有没有相关的论文或文献参考？

这个数据集是基于什么背景创建的？

数据集的作者是谁？

能帮我联系到这个数据集的作者吗？

这个数据集如何下载？

点击留言

数据主题

具身智能

数据集 4099个

机构 8个

大模型

数据集 439个

机构 10个

无人机

数据集 37个

机构 6个

指令微调

数据集 36个

机构 6个

蛋白质结构

数据集 50个

机构 8个

空间智能

数据集 21个

机构 5个

5,000+

优质数据集

54 个

任务类型

进入经典数据集

热门数据集

AlphaFold Protein Structure Database

AlphaFold是由Google DeepMind开发的AI系统，可从氨基酸序列预测蛋白质的三维结构，其准确性媲美实验方法。Google DeepMind与欧洲生物信息学研究所（EMBL-EBI）合作创建了AlphaFold Protein Structure Database，免费向科学界开放，现已涵盖超过2亿条UniProt蛋白序列，包含人类及47种重要生物的蛋白质组。

alphafold.com 收录

stanford_cars

该数据集是一个包含多个汽车品牌和型号的图片数据集，每个图片样本都标记有相应的汽车品牌和型号信息。数据集适用于图像识别和分类任务，特别是汽车品牌和型号的识别。

huggingface 收录

LIDC-IDRI

LIDC-IDRI 数据集包含来自四位经验丰富的胸部放射科医师的病变注释。 LIDC-IDRI 包含来自 1010 名肺部患者的 1018 份低剂量肺部 CT。

OpenDataLab 收录

rpi_test

该数据集为HuggingFace LeRobot格式机器人数据集。

huggingface 收录

猫狗分类

## 数据集描述 ### 数据集简介本数据集是简单的猫狗二分类数据集，共2个类别，其中训练集包含275张带注释的图像，验证集包含70张带注释的图像。整个数据集共10.3MB，可用于快速模型验证、性能评估、小数据集训练等。 ### 数据集支持的任务可用于快速模型验证、性能评估、小数据集训练等。 ## 数据集的格式和结构 ### 数据格式数据集包括训练集train和验证集val，train和val文件夹之下按文件夹进行分类，共有2个子文件夹，同类别标签的图片在同一个文件夹下，图片格式为JPG。同时包含与标注文件中label id相对应的类名文件classname.txt。 ### 数据集加载方式 ```python from modelscope.msdatasets import MsDataset from modelscope.utils.constant import DownloadMode ms_train_dataset = MsDataset.load( 'cats_and_dogs', namespace='tany0699', subset_name='default', split='train') # 加载训练集 print(next(iter(ms_train_dataset))) ms_val_dataset = MsDataset.load( 'cats_and_dogs', namespace='tany0699', subset_name='default', split='validation') # 加载验证集 print(next(iter(ms_val_dataset))) ``` ### 数据分片本数据集包含train和val数据集。 | 子数据集 | train | val | test | |---------|-------------:|-----------:|---------:| | default | 训练集 | 验证集 | / | ### Clone with HTTP ```bash git clone https://www.modelscope.cn/datasets/tany0699/cats_and_dogs.git ```

魔搭社区收录