in-the-wild-soundscapes-gemini2.5-pro

In-the-Wild Soundscapes — Gemini 2.5 Pro Annotated 是一个由Google Gemini 2.5 Pro模型标注的野外音频片段数据集。数据来源于公开的YouTube视频，包含时间戳声音事件分割和丰富的自然语言描述。每个音频片段被分割为多个带时间戳的事件，每个事件都配有详细描述，涵盖内容及其声学/技术特性（“通用技术音频分析”）。数据集规模约为67,000个音频片段，以WebDataset格式组织成338个分片（每个分片约200个样本）。每个样本包含三个文件：音频文件（MP3格式，少数为M4A）、包含Gemini 2.5 Pro标注的JSON文件（包括事件分割、描述、片段时长和重叠信息）以及包含来源元数据（如YouTube ID、标题等）的JSON文件。该数据集适用于音频分类、音频-文本生成、声音事件检测、音频分割等任务，标注为模型生成，可能存在错误或幻觉，应视为弱/自动标签，音频仅用于研究目的。

In-the-Wild Soundscapes — Gemini 2.5 Pro Annotated is a dataset of in-the-wild audio clips annotated by the Google Gemini 2.5 Pro model. The data is sourced from public YouTube videos and includes timestamped sound event segmentation and rich natural language descriptions. Each audio clip is segmented into multiple timestamped events, each accompanied by detailed descriptions covering content and acoustic/technical characteristics (General Technical Audio Analysis). The dataset consists of approximately 67,000 audio clips, organized into 338 shards (each shard containing about 200 samples) in WebDataset format. Each sample includes three files: an audio file (MP3 format, with a few in M4A), a JSON file with Gemini 2.5 Pro annotations (including event segmentation, descriptions, clip duration, and overlap information), and a JSON file with source metadata (such as YouTube ID, title, etc.). This dataset is suitable for tasks like audio classification, audio-text generation, sound event detection, and audio segmentation. The annotations are model-generated and may contain errors or hallucinations, so they should be considered weak/automatic labels; the audio is for research purposes only.

原始信息汇总

数据集概述：In-the-Wild Soundscapes — Gemini 2.5 Pro Annotated

该数据集包含从公开 YouTube 视频中采集的、经过 Google Gemini 2.5 Pro 模型标注的野外音频片段，提供了时间维度的声音事件分割以及丰富的自然语言描述。

• 核心内容：约 67,000 个音频片段，分布在 338 个WebDataset 分片（audio_batch_*.tar，每个约 200 个样本）中。
• 标注来源：Google Gemini 2.5 Pro。
• 数据格式：WebDataset（每个分片中样本文件连续存储，共享 sample_N 键）。

样本结构

每个样本（键 sample_N）包含三个文件：

文件	描述
sample_N.audio.mp3	音频片段（少数为 .audio.m4a 格式）
sample_N.audio.json	Gemini 2.5 Pro 标注：包含 segmentation.events[]（每个事件有 caption、start_time、end_time 字段）、segment_duration、overlapping，以及一个可用于指令微调的 QWEN_ChatFormat 模块
sample_N.metadata.json	源元数据（YouTube ID、标题、yt-dlp formats 等）

标注示例（*.audio.json，描述已截断）

json { "segmentation": { "events": [ { "caption": "The segment begins with a loud, resonant cymbal crash and a dramatic, upward-sweeping string glissando. This introduces a traditional Chinese opera performance featuring a female vocalist ... Universal Technical Audio Analysis: wide dynamic range, bright tonal balance, large reverberant hall ...", "start_time": 0.0, "end_time": 18.53 }, { "caption": "...", "start_time": 18.53, "end_time": 32.54 } ] }, "segment_duration": "medium", "overlapping": false }

使用方式

可使用 WebDataset 流式加载：

python import io, json, webdataset as wds

流式加载一个分片（或使用花括号扩展多个分片，如 "audio_batch_{...}.tar"）

ds = wds.WebDataset("audio_batch_101.tar")

for sample in ds: key = sample["key"] # 例如 "sample_0" audio = sample["audio.mp3"] # 原始 mp3 字节 ann = json.loads(sample["audio.json"]) # Gemini 2.5 Pro 分割结果 meta = json.loads(sample["metadata.json"]) # 源元数据

for ev in ann["segmentation"]["events"]:
    print(f{ev["start_time"]:.2f}-{ev["end_time"]:.2f}s: {ev["caption"][:80]}...)

下载完整数据集：

bash hf download laion/in-the-wild-soundscapes-gemini2.5-pro --repo-type dataset --local-dir ./soundscapes

注意事项

• 标注文本和分割结果均由 Gemini 2.5 Pro 模型自动生成，可能包含错误或幻觉，请将其视为弱/自动标签。
• 音频源自公开的网络视频，仅供研究使用。

许可与语言

• 许可证：cc-by-4.0
• 语言：英语（en）
• 任务类型：音频分类、音频到文本生成
• 标签：音频、声景、音频描述、声音事件检测、音频分割、WebDataset、Gemini
• 数据规模：10K < n < 100K

搜集汇总

数据集介绍

构建方式

该数据集名为 In-the-Wild Soundscapes — Gemini 2.5 Pro Annotated，其构建思路根植于大规模环境音频理解的需求。数据源取自公开的 YouTube 视频中的音频片段，确保了场景的多样性与真实性。核心构建流程利用 Google Gemini 2.5 Pro 大型语言模型，对每段音频进行自动化的时间戳事件分割与丰富的自然语言描述标注，生成了包含“通用技术音频分析”的详细说明。最终约 67,000 个音频样本被封装为 338 个 WebDataset 分片进行存储，每个样本均包含音频、模型注释元数据及来源元数据三部分文件，便于高效流式读取。

特点

该数据集最显著的特点在于其融合了细粒度时间分割与专业级音频技术描述。每个音频片段被精确划分为多个带起止时间的事件，每个事件不仅有对声音内容的语义描述，还包含诸如动态范围、音色平衡、混响环境等声学技术分析，极大丰富了标签的维度。数据格式采用 WebDataset 分片结构，特别适合分布式训练场景中的高效数据加载。此外，数据集中嵌入了格式化的 QWEN_ChatFormat 结构，可直接用于指令微调任务，体现了从自动标注到模型训练的无缝衔接设计。

使用方法

使用该数据集时，推荐采用 WebDataset 库进行高效流式加载。通过简单实例化 WebDataset 对象并指定分片文件路径，即可迭代获取包含音频字节流、模型注释及源元数据的样本。开发者可解析 JSON 格式的注释文件，从中提取带时间戳的事件列表与对应的详细描述。对于希望进行指令微调的研究者，可直接利用注释中预设的 QWEN_ChatFormat 结构。整个数据集可通过 Hugging Face 提供的 `hf download` 指令一键下载至本地目录，数据组织形式支持按需处理单个或多个分片。

背景与挑战

背景概述

在音频理解领域，自动化的声音事件检测与描述生成是连接机器听觉与人类语言的关键桥梁。由LAION机构于近期发布的in-the-wild-soundscapes-gemini2.5-pro数据集，依托Google Gemini 2.5 Pro大模型，从公开YouTube视频中提取了约6.7万个野外音频片段，并为每个片段提供了细粒度的时间戳事件分割与富含自然语言描述的标注。该数据集不仅涵盖了丰富的声音场景，还引入了“通用技术音频分析”维度，旨在推动音频描述生成、声音事件检测及音频分割等研究方向的发展。其大规模、高质量且多样化的特性，为多模态学习与基础模型研究提供了宝贵的训练与评估资源。

当前挑战

该数据集所应对的领域挑战主要源于真实世界音频的复杂性与高变异度，包括多源声音叠加、背景噪声干扰以及事件边界模糊等，使得传统模型难以精准捕获与语义化描述。构建过程中，核心挑战在于依赖单一模型（Gemini 2.5 Pro）自动生成标注，这引入了潜在的模型偏见、错误幻觉以及对罕见声音事件的描述不完整等问题。此外，音频来源为公开网络视频，版权与伦理合规性需谨慎处理，同时确保了数据分布的代表性与多样性，避免地理或文化层面的偏差。

常用场景

经典使用场景

在生态声学与计算听觉场景分析领域，in-the-wild-soundscapes-gemini2.5-pro数据集以其独特的时序事件分割与丰富自然语言描述，成为多模态音频理解的标杆资源。研究者常利用该数据集进行音频字幕生成与声音事件检测的联合任务，通过将连续音频流切分为带有精确时间戳的事件片段，并辅以Gemini 2.5 Pro生成的技术性音频分析描述，实现对复杂野外录音的细粒度语义理解。该数据集尤其适合开发从音频到文本的跨模态对齐模型，其包含的约6.7万段视频音频为训练大规模音频语言模型提供了高质量、弱监督的标注范例。

解决学术问题

该数据集直面了野外录音场景中长时音频事件的时序解析这一长期难题，突破了传统音频数据集仅提供整体标签或稀疏事件标注的局限。通过引入事件级时间分割与通用技术音频分析描述，它解决了弱监督条件下复杂声学场景的细粒度建模问题，使得模型能够在中长时段音频中同时识别事件的起止边界、内容语义及声学品质。这一机制显著推动了从‘有无检测’到‘何时发生何事’的范式跃迁，为跨场景声音事件理解、多尺度时序建模以及音频-文本对齐等研究方向提供了坚实的评测基准与训练数据。

衍生相关工作

基于该数据集，学术界已衍生出若干具有影响力的研究方向与代表性工作。在方法论层面，研究者以此为标准训练数据，推动了基于大语言模型的音频感知统一框架，如通过预训练音频编码器与文本解码器的联合优化，实现了少样本事件边界预测。在应用延伸上，数据集催生了针对低资源语言的音频描述模型迁移学习方案，并启发了将时序音频分割与视觉场景图相结合的视听联合解析体系。此外，部分工作利用其标注中的‘Universal Technical Audio Analysis’字段，探索了音频质量评价与声场重建任务，拓宽了传统音频分析的应用边界。