AutoAEG

该数据集是 AutoAEG（自动音频增强生成）项目迁移数据集的一部分，旨在提供重现当前 SFT-v3、GRPO 和 AEGBench 评估流程所需的最小数据。数据集包含以下三个子集：1) datasets/sft10k_v3/：包含监督微调（SFT-v3）的训练记录及对应音频文件；2) datasets/grpo_annotation/grpo_freesound_train_withrej/：包含 GRPO（Group Relative Policy Optimization）训练所需的注释记录和 2,000 个参考音频文件；3) AEGBench/：包含 AEGBench 评估基准的清单文件及参考音频。数据集排除了模型权重、LoRA/检查点、优化器状态、运行时环境、日志、原始评估输出、Git 捆绑包、凭证以及可选的 SFT 基线源池等无关内容。该数据集主要用于音频生成模型的 SFT、GRPO 训练以及 AEGBench 基准评估。This dataset is part of the AutoAEG (Automatic Audio Enhancement Generation) project migration dataset, designed to provide the minimal data required to reproduce the current SFT-v3, GRPO, and AEGBench evaluation pipelines. It contains the following three subsets: 1) datasets/sft10k_v3/: includes training records and corresponding audio files for supervised fine-tuning (SFT-v3); 2) datasets/grpo_annotation/grpo_freesound_train_withrej/: includes annotation records and 2,000 reference audio files for GRPO (Group Relative Policy Optimization) training; 3) AEGBench/: includes manifest files and reference audio for the AEGBench evaluation benchmark. The dataset excludes irrelevant content such as model weights, LoRA/checkpoints, optimizer states, runtime environments, logs, raw evaluation outputs, Git bundles, credentials, and optional SFT baseline source pools. It is primarily used for SFT, GRPO training of audio generation models, and AEGBench benchmark evaluation.

原始信息汇总

AutoAEG migration datasets 数据集概述

数据集简介

• Pretty Name: AutoAEG migration datasets
• 数据集地址: https://huggingface.co/datasets/zihan-audio/AutoAEG

数据集用途

该数据集仓库包含复现 AutoAEG 代码仓库中当前 SFT-v3、GRPO 以及 AEGBench 评估工作流程所需的最小数据。

包含路径

• datasets/sft10k_v3/：可直接用于训练的 SFT-v3 记录及音频。
• datasets/grpo_annotation/grpo_freesound_train_withrej/：GRPO 记录以及所引用的 2,000 个音频文件。
• AEGBench/：AEGBench 清单及所引用的音频。

有意排除的内容

• 基础模型权重
• LoRA/检查点
• 优化器状态
• 运行时环境
• 日志
• 原始评估输出
• Git bundles
• 凭证
• 可选的 SFT 基线源池

数据清单

完整的数据清单记录于 UPLOAD_MANIFEST.json 中。

搜集汇总

数据集介绍

构建方式

AutoAEG数据集面向音频事件生成与迁移任务，其构建遵循可复现性原则，从AutoAEG代码仓库中提取支撑SFT-v3、GRPO及AEGBench评估流程的最小数据集合。具体而言，构建者整编了datasets/sft10k_v3/路径下的SFT-v3训练记录及其对应音频，汇集datasets/grpo_annotation/grpo_freesound_train_withrej/中的GRPO记录与两千个引用音频文件，并收录AEGBench清单及关联音频。为控制数据集规模与版权合规，基础模型权重、LoRA检查点、优化器状态、运行环境、日志及原始评估输出等均被有意排除，完整清单存于UPLOAD_MANIFEST.json。

特点

该数据集的核心特征在于精炼性与可复现性的统一。其内容严格围绕SFT-v3、GRPO训练及AEGBench评估三个环节所需的最小数据单元，避免冗余资源对存储与分发的负担。数据集涵盖监督微调与强化学习偏好优化两种训练范式所需的数据形态，并配有对应的音频文件，保证了音频事件生成任务中模态对齐的完整性。通过明确排除模型权重与运行时产物，数据集保持了轻量级与跨环境可移植的优势，便于研究者快速验证与迭代算法。

使用方法

使用AutoAEG数据集时，研究者可依据UPLOAD_MANIFEST.json中的清单定位所需资源，分别加载sft10k_v3目录下的记录与音频以开展监督微调训练，利用grpo_annotation目录中的GRPO记录及音频执行偏好优化，并借助AEGBench清单与音频进行标准化评估。由于数据集中不包含模型权重与检查点，使用者需自行准备基础模型并配置训练环境，按照AutoAEG代码仓库的流程将数据接入对应的训练或评估脚本，从而实现从数据到实验结果的完整复现。

背景与挑战

背景概述

音频事件生成（Audio Event Generation, AEG）是音频信号处理与生成式人工智能交叉的前沿方向，旨在依据文本描述合成语义一致、声学逼真的声音事件。AutoAEG数据集于2024年前后由相关研究团队构建，作为AutoAEG代码仓库的配套数据资源，聚焦于音频事件生成模型的监督微调（SFT）与基于人类反馈的强化学习（GRPO）训练，并提供了标准化的AEGBench评测基准。该数据集通过整合SFT-v3训练记录、GRPO标注数据及2000余条参考音频，为音频生成模型的训练与评估提供了可复现的数据基础，对推动音频内容生成领域的可重复研究具有积极意义。

当前挑战

音频事件生成领域面临多重挑战：生成模型需在文本语义与复杂声学特征之间建立精确映射，同时保证生成音频在时域与频域上的自然度和多样性，这远超传统音频分类或检测任务的技术难度。在AutoAEG数据集的构建过程中，挑战同样显著：音频事件标注依赖专业听感判断，标注成本高昂且一致性难以保证；SFT与GRPO训练所需的高质量配对数据稀缺，数据清洗与筛选流程复杂；AEGBench评测需兼顾客观指标与主观感知，评价体系尚不成熟。此外，数据集中有意排除模型权重、检查点等资源，虽提升了可复现性，但也对使用者的训练环境配置提出了额外要求。

常用场景

经典使用场景

在音频生成与编辑领域，AutoAEG数据集经典地服务于音频事件生成（Audio Event Generation）任务的模型微调与强化学习流程。其核心使用场景在于为监督微调（SFT-v3）提供约一万条即用型训练记录及对应音频，同时为GRPO（生成式奖励策略优化）提供带拒绝标注的训练样本与两千条引用音频，并配套AEGBench评估基准。研究者可依托此数据集完整复现从模型训练到基准评测的闭环，尤其适合探索基于人类反馈或自动奖励的音频生成策略优化。

衍生相关工作

基于AutoAEG数据集，相关经典工作主要围绕音频生成模型的监督微调、生成式奖励策略优化以及音频事件基准评测展开。该数据集支撑了AutoAEG代码库中SFT-v3、GRPO和AEGBench评估工作流的复现与扩展，衍生的研究可能涉及音频生成中的强化学习对齐、奖励模型设计以及跨模态音频编辑等方向。这些工作共同促进了音频生成领域在训练范式与评价体系上的迭代发展。

数据集最近研究

最新研究方向

面向音频生成与编辑的迁移学习范式正从单一监督微调转向融合强化学习与人类反馈的复合优化框架。AutoAEG数据集通过提供SFT-v3可训练记录、GRPO偏好标注及AEGBench评测清单，支撑了基于分组相对策略优化的生成模型对齐研究，并推动音频编辑任务中拒绝采样与奖励建模的标准化评估。该资源契合当前生成式AI向多模态、可控化演进的热点，为低资源音频迁移场景下的策略优化与泛化能力验证提供了可复现基准，对提升生成音频的语义一致性与感知质量具有关键意义。