confit/audioset-script

该数据集是一个用于音频分类任务的数据集，包含多种类型的音频文件，标签类别涵盖了从自然声音（如雷声、风声）到音乐（如爵士乐、摇滚乐）等多种类型。数据集分为训练集和测试集，分别包含20550和18887个样本。

原始信息汇总

数据集概述

配置名称

• balanced

特征

• file: 文件名，数据类型为字符串（string）。
• audio: 音频数据，数据类型为音频（audio）。
• label: 标签，包含一系列类别标签，具体如下：
  • 0: Clip-clop
  • 1: Gong
  • 2: Crow
  • 3: Synthesizer
  • 4: Chewing, mastication
  • 5: Smoke detector, smoke alarm
  • 6: Wind chime
  • 7: Thunder
  • 8: Distortion
  • 9: Song
  • 10: Accelerating, revving, vroom
  • 11: Wood block
  • 12: Sanding
  • 13: Rain on surface
  • 14: Foghorn
  • 15: Battle cry
  • 16: Whimper (dog)
  • 17: Caw
  • 18: Effects unit
  • 19: Car alarm
  • 20: Engine knocking
  • 21: Organ
  • 22: Percussion
  • 23: New-age music
  • 24: Wild animals
  • 25: Squawk
  • 26: Bleat
  • 27: Splinter
  • 28: Zing
  • 29: Cello
  • 30: Electronic dance music
  • 31: Gasp
  • 32: Crowing, cock-a-doodle-doo
  • 33: Pump (liquid)
  • 34: Conversation
  • 35: Skidding
  • 36: Hoot
  • 37: Afrobeat
  • 38: Beep, bleep
  • 39: Happy music
  • 40: Funk
  • 41: Silence
  • 42: Cutlery, silverware
  • 43: Timpani
  • 44: Grunge
  • 45: Basketball bounce
  • 46: Singing
  • 47: Plucked string instrument
  • 48: Livestock, farm animals, working animals
  • 49: Air horn, truck horn
  • 50: Skateboard
  • 51: Electric toothbrush
  • 52: Male singing
  • 53: Drum roll
  • 54: Fire alarm
  • 55: Tools
  • 56: Chime
  • 57: Baby cry, infant cry
  • 58: Pulse
  • 59: Sizzle
  • 60: Gurgling
  • 61: Power windows, electric windows
  • 62: Door
  • 63: Vocal music
  • 64: Scissors
  • 65: Screaming
  • 66: Blender
  • 67: Honk
  • 68: Emergency vehicle
  • 69: Hip hop music
  • 70: Single-lens reflex camera
  • 71: Tuning fork
  • 72: Yip
  • 73: Cymbal
  • 74: Thump, thud
  • 75: Squeal
  • 76: Frying (food)
  • 77: Rapping
  • 78: Burst, pop
  • 79: Inside, large room or hall
  • 80: Bellow
  • 81: Writing
  • 82: Jackhammer
  • 83: Civil defense siren
  • 84: Speech synthesizer
  • 85: Hi-hat
  • 86: Steel guitar, slide guitar
  • 87: Keyboard (musical)
  • 88: Child speech, kid speaking
  • 89: Independent music
  • 90: Walk, footsteps
  • 91: Bird flight, flapping wings
  • 92: Subway, metro, underground
  • 93: Funny music
  • 94: Pulleys
  • 95: Machine gun
  • 96: Harp
  • 97: Glass
  • 98: Opera
  • 99: Bus
  • 100: Throbbing
  • 101: Pigeon, dove
  • 102: Rail transport
  • 103: Chant
  • 104: Tap
  • 105: Train horn
  • 106: Jazz
  • 107: Meow
  • 108: Angry music
  • 109: Christian music
  • 110: Singing bowl
  • 111: Ice cream truck, ice cream van
  • 112: Patter
  • 113: Hammer
  • 114: Clapping
  • 115: Bagpipes
  • 116: Gospel music
  • 117: Traffic noise, roadway noise
  • 118: A capella
  • 119: Waterfall
  • 120: Music of Bollywood
  • 121: Whoosh, swoosh, swish
  • 122: Heart murmur
  • 123: Exciting music
  • 124: Shuffle
  • 125: Railroad car, train wagon
  • 126: Medium engine (mid frequency)
  • 127: Truck
  • 128: Crowd
  • 129: Police car (siren)
  • 130: Techno
  • 131: Rumble
  • 132: Croak
  • 133: Groan
  • 134: Whoop
  • 135: Snare drum
  • 136: Toot
  • 137: Child singing
  • 138: Cat
  • 139: Raindrop
  • 140: Lawn mower
  • 141: Music of Africa
  • 142: Bathtub (filling or washing)
  • 143: Video game music
  • 144: String section
  • 145: Chop
  • 146: Psychedelic rock
  • 147: Boom
  • 148: Children shouting
  • 149: Rattle
  • 150: Middle Eastern music
  • 151: Microwave oven
  • 152: Clatter
  • 153: Shofar
  • 154: Rimshot
  • 155: Disco
  • 156: Clicking
  • 157: Maraca
  • 158: Scratching (performance technique)
  • 159: Ocean
  • 160: Grunt
  • 161: Roaring cats (lions, tigers)
  • 162: Radio
  • 163: Hair dryer
  • 164: Helicopter
  • 165: Motorcycle
  • 166: Static
  • 167: Whistling
  • 168: Printer
  • 169: Filing (rasp)
  • 170: Boiling
  • 171: Burping, eructation
  • 172: Brass instrument
  • 173: Sheep
  • 174: Wind
  • 175: Crackle
  • 176: Tire squeal
  • 177: Whispering
  • 178: Train
  • 179: Jingle bell
  • 180: Car passing by
  • 181: Jingle, tinkle
  • 182: Electronic organ
  • 183: Finger snapping
  • 184: Ska
  • 185: Sampler
  • 186: Vehicle horn, car horn, honking
  • 187: Wind noise (microphone)
  • 188: Slam
  • 189: Dubstep
  • 190: Chopping (food)
  • 191: Insect
  • 192: Whale vocalization
  • 193: Bouncing
  • 194: Zipper (clothing)
  • 195: Clang
  • 196: White noise
  • 197: Ping
  • 198: Crunch
  • 199: Ding
  • 200: Reversing beeps
  • 201: Computer keyboard
  • 202: Sewing machine
  • 203: Jingle (music)
  • 204: Pop music
  • 205: House music
  • 206: Reverberation
  • 207: Classical music
  • 208: Dishes, pots, and pans
  • 209: Mosquito
  • 210: Electronic tuner
  • 211: Music of Latin America
  • 212: Bass guitar
  • 213: Run
  • 214: Whir
  • 215: Flap
  • 216: Electronic music
  • 217: Clock
  • 218: Mains hum
  • 219: Wedding music
  • 220: Fixed-wing aircraft, airplane
  • 221: Echo
  • 222: Laughter
  • 223: Quack
  • 224: Doorbell
  • 225: Sidetone
  • 226: Wheeze
  • 227: Spray
  • 228: Sawing
  • 229: Plop
  • 230: Biting
  • 231: Horse
  • 232: Canidae, dogs, wolves
  • 233: Tubular bells
  • 234: Squeak
  • 235: Television
  • 236: Whimper
  • 237: Dial tone
  • 238: Light engine (high frequency)
  • 239: Clarinet
  • 240: Outside, urban or manmade
  • 241: Alarm
  • 242: Fowl
  • 243: Fusillade
  • 244: Trickle, dribble
  • 245: Swing music
  • 246: Traditional music
  • 247: Mechanisms
  • 248: Beatboxing
  • 249: Cluck
  • 250: Mechanical fan
  • 251: Rub
  • 252: Synthetic singing
  • 253: Outside, rural or natural
  • 254: Scary music
  • 255: Goat
  • 256: Rodents, rats, mice
  • 257: Motor vehicle (road)
  • 258: Mantra
  • 259: Marimba, xylophone
  • 260: Flamenco
  • 261: Telephone dialing, DTMF
  • 262: Acoustic guitar
  • 263: Roll
  • 264: Chuckle, chortle
  • 265: Rock and roll
  • 266: Drip
  • 267: Shuffling cards
  • 268: Throat clearing
  • 269: Hiss
  • 270: Duck
  • 271: Race car, auto racing
  • 272: Aircraft engine
  • 273: Boing
  • 274: Tick
  • 275: "Dental drill, dentists drill"
  • 276: Ringtone
  • 277: Sound effect
  • 278: Heavy engine (low frequency)
  • 279: Bicycle
  • 280: Motorboat, speedboat
  • 281: Noise
  • 282: Busy signal
  • 283: Purr
  • 284: Thunderstorm
  • 285: Rock music
  • 286: Engine starting
  • 287: Glockenspiel
  • 288: Propeller, airscrew
  • 289: Sniff
  • 290: Liquid
  • 291: Gobble
  • 292: Country
  • 293: Cowbell
  • 294: Wail, moan
  • 295: Chirp, tweet
  • 296: Hammond organ
  • 297: Giggle
  • 298: Vibration
  • 299: Reggae
  • 300: French horn
  • 301: Christmas music
  • 302: Rustle
  • 303: Electric piano
  • 304: Music
  • 305: Dog
  • 306: Theremin
  • 307: Guitar
  • 308: Crying, sobbing
  • 309: Fireworks
  • 310: Creak
  • 311: Car
  • 312: Musical instrument
  • 313: Telephone
  • 314: Waves, surf
  • 315: Harmonic
  • 316: Moo
  • 317: Chainsaw
  • 318: Accordion
  • 319: Music for children
  • 320

搜集汇总

数据集介绍

构建方式

该数据集源自AudioSet的标注子集，通过从官方仓库下载并筛选特定样本构建而成。具体而言，其保留了平衡训练子集中的20550个样本（原总数22160）、非平衡训练子集中的1,913,637个样本（原总数2,041,789）以及评估子集中的18,887个样本（原总数20,371）。这一过程确保了数据规模与原始分布的兼容性，同时剔除了部分不可用或冗余的音频片段。

特点

数据集特点在于其层次化标签体系与大规模多标签音频事件覆盖，涵盖丰富的声音类别（如环境声、乐器声、人声等）。平衡与非平衡子集的划分兼顾了类别均衡性与自然分布，评估子集则用于标准化性能测试。此外，数据来源明确、版本可控，便于复现音频事件检测领域的基准实验。

使用方法

使用方法上，可直接加载预划分的训练、评估子集用于音频分类模型训练与验证。推荐配合CNN或Transformer架构的音频特征提取器（如VGGish、PANNs），将音频片段转换为对数梅尔频谱图后输入网络。评估时采用平均精度均值（mAP）等指标，并参考原始AudioSet的类别映射进行结果分析。

背景与挑战

背景概述

音频事件检测是计算听觉场景分析领域的核心任务，旨在从复杂声学环境中自动识别并分类特定声音事件。confit/audioset-script数据集基于Google发布的AudioSet构建，后者是目前规模最大的人工标注音频数据集之一，涵盖632类音频事件。该数据集由Qiuqiang Kong等研究人员于2018年创建，旨在解决大规模音频标注数据稀缺的问题，为深度学习模型提供可靠的训练与评估基准。其核心研究问题在于如何从海量弱标注音频中提取有效的声学表征，从而推动音频理解技术在智能监控、多媒体检索和辅助听觉等领域的应用。该数据集的影响力体现在它为标准化的音频事件检测研究提供了可复现的实验平台，促进了诸如CNN、Transformer等模型在声学场景下的性能对比与优化。

当前挑战

该数据集面临的首要挑战是音频事件检测领域的固有问题：音频事件在时间上高度重叠且类别间存在语义模糊性，例如‘狗叫’与‘门铃’可能共享相似的频谱特征，导致模型难以精准区分。此外，构建过程中遭遇了数据不完整性的严峻考验，原始AudioSet包含的平衡训练子集、非平衡训练子集及评估子集分别缺失了约7.3%、6.2%和7.3%的样本，这源于YouTube视频链接失效或内容被移除。这种数据缺失不仅增加了训练集与评估集之间的分布偏移风险，还迫使研究者开发鲁棒的缺失数据处理策略，例如通过元信息补全或动态采样技术来缓解偏差，从而确保模型评估的公平性与泛化能力。

常用场景

经典使用场景

在音频内容理解与检索领域，AudioSet-Script数据集被广泛用于多标签音频事件分类任务。该数据集源自Google发布的AudioSet语料库，涵盖527类音频事件标签，从日常环境声如狗吠、雨声到乐器演奏等丰富类别。研究者借助其中平衡训练子集（约20550条）与非平衡训练子集（约191万条）的标注数据，可训练深度神经网络模型以精准识别音频片段中的并发事件，其规模与标签多样性为构建鲁棒的音频表征学习基准提供了坚实基础。

实际应用

在实际应用中，AudioSet-Script赋能了智能安防系统中的异常声音检测，如玻璃破碎声或枪声的实时识别；亦服务于社交媒体平台的自动内容审核，通过背景音乐与对话声的区分辅助版权管理。此外，在智能家居领域，它支持设备根据环境声（如婴儿啼哭、烟雾报警）自动触发响应，而车载语音系统则利用其训练模型过滤风噪与引擎声，提升人机交互的鲁棒性。这些部署均依赖数据集提供的跨场景泛化能力，将学术成果转化为日常生活的高效工具。

衍生相关工作

基于该数据集衍生了多项经典工作，如Qiuqiang Kong等人提出的CNN14与ResNet22模型，其在AudioSet上首次利用全卷积结构实现多标签分类，成为后续研究的基准架构。PANNs（预训练音频神经网络）系列进一步引入迁移学习范式，通过大规模预训练加微调策略刷新了多个下游任务榜单。此外，Attention-based MIL方法利用数据集弱标注特性，实现了事件边界定位的突破，启发了后续如PSLA与HTS-AT等时序建模工作，共同推动了音频事件识别领域的范式演进。