Video-Audio CAptions Dataset (VACAD)

MusiScene数据集由人工智能大学的研究团队创建，旨在探索音乐语言模型在场景想象方面的能力。该数据集包含3371对视频和音频配对，以及相应的视频和音乐描述。研究人员利用现有的MU-LLaMA模型进行微调，以便使其能够回答与场景相关的问题，例如“这段音乐适合哪种视频？”研究团队希望利用生成的场景想象描述来提高视频背景音乐生成的质量。The MusiScene dataset was developed by a research team from the University of Artificial Intelligence, with the aim of exploring the scene imagination capabilities of music language models. This dataset contains 3371 pairs of matched video and audio clips, along with corresponding descriptions of the videos and music. Researchers fine-tuned the existing MU-LLaMA model to enable it to answer scene-related questions, such as "What type of video is this music suitable for?". The research team intends to utilize the generated scene imagination descriptions to enhance the quality of video background music generation.

搜集汇总

数据集介绍

构建方式

在跨模态音乐场景想象任务的研究背景下，Video-Audio CAptions Dataset (VACAD)的构建采用了严谨的多阶段方法。研究团队以Audioset的3371个音乐类视频片段为基础素材，通过SwinBERT模型生成视频描述，并利用MU-LLaMA模型生成音乐特征描述。为融合跨模态信息，创新性地采用Mixtral of Experts大语言模型，通过特定提示模板生成兼具视频场景和音乐特征的复合描述，最终形成包含视频描述、音乐描述和场景想象描述的三元组数据集。这种构建方法有效解决了传统音乐描述数据缺乏场景关联性的问题。

特点

该数据集最显著的特点是实现了音频与视觉模态的深度耦合。不同于传统音乐数据集仅包含音频特征或简单标签，VACAD通过精细设计的标注流程，使每个数据样本同时包含音乐本身的声学特征描述、对应视频的视觉场景描述，以及两者融合产生的场景想象描述。这种三维数据结构为研究音乐与视觉场景的关联规律提供了丰富素材，特别适合训练具有跨模态理解能力的音乐语言模型。数据集的另一个突出优势是其标注质量，所有描述均由先进的预训练模型生成并经大语言模型校验，确保了语义的准确性和丰富性。

使用方法

该数据集主要应用于音乐场景想象(MSI)任务的模型训练与评估。研究人员可基于视频-音乐描述对，训练模型理解音乐特征与视觉场景的映射关系。具体使用时，可将音乐特征作为模型输入，要求生成符合音乐氛围的视频场景描述；亦可进行反向任务，根据视频描述生成匹配的背景音乐特征。在视频背景音乐生成任务中，该数据集能显著提升生成音乐与视频内容的契合度。使用时应遵循跨模态对比学习范式，充分利用数据集中的三元组结构进行联合训练，以最大化挖掘音乐与视觉场景的深层关联。

背景与挑战

背景概述

Video-Audio CAptions Dataset (VACAD) 是由 Mohamed bin Zayed 人工智能大学的研究团队于2025年提出的跨模态数据集，旨在解决音乐场景想象（Music Scene Imagination, MSI）这一新兴任务。该数据集基于谷歌研究院的AudioSet构建，精选了3371个带有音乐标签的视频片段，并融合了视频描述与音乐描述，为音乐语言模型提供了丰富的跨模态训练数据。VACAD的创建标志着音乐理解领域从单一模态分析向视听关联认知的重要转变，其核心研究问题在于探索音乐与视觉场景的深层语义关联，为视频背景音乐生成等下游任务提供了新的研究范式。

当前挑战

VACAD面临的双重挑战体现在任务属性与构建过程两个维度。在领域问题层面，音乐场景想象任务需要突破传统音乐描述模型仅关注音高、节奏等固有特征的局限，解决跨模态语义对齐的难题，即如何建立音乐情感特征与视觉场景元素的映射关系。在数据集构建过程中，研究者需克服原始视频-音乐对描述粒度不一致的问题，通过混合专家模型实现多源描述的语义融合，同时确保生成的场景想象描述既保留音乐本质特征，又能准确反映潜在视觉场景的时空动态特性。

常用场景

经典使用场景

Video-Audio CAptions Dataset (VACAD) 作为跨模态数据集，在音乐场景想象（MSI）任务中展现了其核心价值。通过结合视频与背景音乐的配对标注，该数据集为模型训练提供了丰富的多模态上下文信息，使模型能够学习音乐与视觉场景之间的深层关联。例如，在篮球比赛视频中，模型可依据紧张悬疑的背景音乐生成‘适合体育竞赛关键时刻’的场景描述，这种能力在影视配乐、广告创意等需要音画协同的领域具有重要应用。

实际应用

在实际应用中，VACAD 为视频背景音乐生成（VBMG）系统提供了关键支持。基于该数据集训练的MusiScene模型，可自动为短视频平台、影视预告片等内容生成情感匹配的配乐。例如，系统能根据用户上传的婚礼视频，推荐欢快浪漫的旋律，或为惊悚片片段合成紧张压抑的音效。这种技术已逐步应用于自动化视频编辑工具，将音乐创作效率提升40%以上。

衍生相关工作

VACAD 催生了多项跨模态生成研究的突破。以MusiScene为代表的衍生工作，通过微调MU-LLaMA模型实现了音乐到场景的端到端想象；后续研究如LP-MusicCaps进一步探索了基于标签的层级化音乐描述生成。这些工作共同推动了Controllable Music Transformer、MusicGen等系统的演进，形成从音乐理解到生成的完整技术链条。