disco-eth/cineaudiodb

CineAudioDB是一个用于电影音频源分离的真实世界评估集，包含真实电影和动画制作，带有真实音轨（对话、音乐、音效），用于评估电影源分离模型。与线性相加的合成数据集不同，真实制作经过非线性母带处理（如压缩、限制、侧链闪避、混响），因此发布的音轨通常不会线性相加到母带混合中。为支持两种假设下的公平评估，每个制作提供两个输入版本：线性混合（音轨线性相加）和制作混合（真实母带立体声混合）。数据集包括9个制作（7个开源动画和2个学生制作），总时长2.46小时，音频格式为FLAC（无损）、24位、48 kHz，主要为立体声（一个制作是单声道）。它还包含元数据文件（如metadata.csv和films.json），支持通过Hugging Face datasets库加载。数据集旨在隔离模型质量与混合过程不匹配，并测量在真实母带音频上的部署性能。CineAudioDB is a real-world evaluation set for cinematic audio source separation, containing real film and animation productions with ground-truth stems (dialogue, music, sfx) for evaluating cinematic source-separation models. Unlike synthetic datasets that sum stems linearly, real productions are mixed with a non-linear mastering chain (e.g., compression, limiting, sidechain ducking, reverb), so the released stems generally do not sum to the mastered mix. To support fair evaluation under both assumptions, every production is provided in two input versions: linear_mix (additive sum of stems) and production_mix (real mastered stereo mix). The dataset includes 9 productions (7 open-source animations and 2 student productions), with a total duration of 2.46 hours, in FLAC (lossless), 24-bit, 48 kHz audio format, primarily stereo (one production is mono native). It also includes metadata files (e.g., metadata.csv and films.json) and supports loading via the Hugging Face datasets library. The dataset aims to isolate model quality from mixing-process mismatch and measure real deployment performance on professionally mastered audio.

搜集汇总

数据集介绍

构建方式

CineAudioDB是一个专为电影级音频源分离评估设计的真实世界数据集。其构建源自9个实际影视动画作品的原始分轨素材，涵盖对话、音乐和音效三类主干音轨，并在此基础上精心设计了两种混合版本：一是将三个分轨线性叠加得到的线性混合版本，二是经由非线性母带处理链后的真实制作混合版本。对于一部作品，还额外提供了8个精细分轨分组，可精确重组成不同粒度的目标音轨。所有音频均以24位、48千赫兹的无损FLAC格式存储，并统一应用每部作品的增益归一化，确保峰值不超过-1分贝满量程。

使用方法

使用CineAudioDB时，可直接通过soundfile库加载不同版本的混合音频与目标分轨，在评估掩码式分离模型时，线性混合版本可精确验证分离品质，而制作混合版本则需要结合听感测试来综合评判。也可以通过HuggingFace的datasets库以音频文件夹方式加载，利用metadata中的字段按作品、音轨类型或混合方式灵活过滤和选择数据。建议在论文中引用该数据集时，注明所采用的混合版本类型以及是否使用了精细分轨的重组，以便于结果的可重复性对比。

背景与挑战

背景概述

CineAudioDB创建于2026年，由匿名研究团队在Interspeech会议投稿中提出，旨在解决电影级音频源分离任务中缺乏真实评测数据集的困境。传统合成数据集通过线性叠加音轨生成混合音频，忽略了专业母带处理中非线性动态压缩、响度限制、侧链闪避及混响等复杂工序，导致模型在真实电影音频场景中的泛化性能严重受限。该数据集汇聚了9部真实影视作品（包括7个开源动画与2部学生作品），提供了总计2.46小时、24位/48kHz的无损FLAC格式音频。区别于现有评测基准，其创新性地为每部作品同时提供可线性加和的“线性混音”版本与经专业母带处理的“成品混音”版本，使研究者能够分别评估模型在理想加法假设下与实际工业制作环境中的表现。该数据集涵盖英语、法语、德语、俄语等多语种内容，并开源了完整的元数据与处理流程，为电影音频分离领域树立了首个兼顾实验室严谨性与现实复杂性的标准化评测平台，对推动该方向从学术研究向工业应用转化具有里程碑意义。

当前挑战

该数据集所解决的领域核心挑战在于电影音频源分离任务中“混合过程非可逆性”难题。实际电影制作中的母带处理链（压缩、限幅、闪避、混响）会破坏音轨间的线性可加性，使基于掩码估计的经典分离模型（如Bandit、MRX）失效，因为干声在部分时频点的能量可能超过混音信号。CineAudioDB通过提供完美可加性的线性混音，隔离模型质量评估与混合过程失真的影响；同时设置成品混音版本，暴露真实部署时非线性映射下的性能瓶颈。构建过程中遭遇的挑战包括：多来源作品的格式归一化（如film_03为原生单声道需升采样、film_01从5.1声道缩混需遵循ITU-R BS.775标准）、音轨对齐与静音裁剪（film_02需切除11.45秒尾音）、干声重建中的非加性间隙处理（film_04的母带混响与淡入淡出效果无法复制于干声），以及多许可协议（CC-BY与CC-BY-SA混合）下的合规性标注。这些技术细节的妥善解决确保了数据集在真实性与可复现性之间的精妙平衡。

常用场景

经典使用场景

CineAudioDB的核心价值在于为电影级音频源分离提供真实世界评测基准。与依赖线性混音的合成数据集不同，该数据集收录了9部专业影视作品（含7部开源动画与2部学生作品），每部作品均提供两种混音版本——严格可加的线性混音（linear_mix）与经过压缩、限制、侧链闪避及混响等非线性母带处理的制作混音（production_mix）。这种双轨设计使得研究者能够在可控条件下评估模型在理想线性叠加场景中的分离精度，同时也能衡量算法面对真实影视混音中能量分配不均、频谱重叠等复杂挑战时的鲁棒性。数据集以24位/48kHz的FLAC无损格式存储，累计时长约2.46小时，并细分为对话、音乐、音效三类主干音轨，其中film_01更提供了8个精细分轨，支持3声轨与4声轨两种分组方式。

解决学术问题

该数据集精准切入影视音频分离领域的核心学术困境：绝大多数现有数据集基于合成或简单线性叠加方式构建，无法反映专业母带处理流程中非线性环节造成的信号非加性特征。CineAudioDB通过提供真实影视制作中的母带混音版本，暴露了传统掩蔽类分离模型（如Bandit、MRX）在面对能量重新分布后的混合信号时性能显著下降的问题。这促使研究者重新审视源分离任务的基本假设，挑战长期沿用的线性可加性前提，进而推动开发能够适应复杂声学环境与专业后期制作的鲁棒分离算法。该数据集的出现填补了影视音频领域缺乏真实评测基准的空白，为对比不同模型在实际影视后期场景中的表现提供了客观、可复现的评估平台，对推动音频源分离技术从实验室研究走向产业化落地具有里程碑式的学术意义。

实际应用

在实际应用层面，CineAudioDB直接服务于影视后期制作、流媒体内容生产及视频会议等对音频质量要求严苛的领域。在电影与动画制作中，该数据集可用于训练和评测对话增强算法，帮助混音师从复杂声景中精准提取演员对白，便于后期配音替换或清理环境噪声；音乐源分离技术则可应用于电影配乐的重混或音效库的自动分类与管理。对于流媒体平台，基于该数据集开发的模型能够提升老片修复项目中音频的分离与增强效果，为观众带来更纯净的视听体验。此外，在广播电视与在线教育场景中，利用该数据集训练的语音增强系统可有效抑制背景音乐与现场音效的干扰，保障关键信息的清晰传递。这些实际价值均源于CineAudioDB对真实混音环境的忠实还原与精细标注。

数据集最近研究

最新研究方向

CineAudioDB为影视音频源分离领域提供了首个基于真实制作流程的评估基准，突破了传统合成数据集线性叠加假设的局限。当前前沿研究聚焦于非加性母带处理对分离模型的影响，尤其是在压缩、限幅、侧链闪避和混响等非线性环节下，模型在真实混音场景中的泛化能力。该数据集通过提供线性混合与生产混音双版本，促使学界重新审视评估指标（如SI-SNR）的适用性，并推动听觉感知测试与客观度量的结合。其精细分轨设计（如8原子音轨）为细粒度音源分离与分类提供了新范式，呼应了影视后期制作中对对话增强、音乐分离及音效提取的迫切需求，对提升沉浸式音频体验与自动化后期处理具有重要推动作用。