有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
Video-Audio CAptions Dataset (VACAD)|音乐生成数据集|视频内容分析数据集
收藏arXiv2025-07-08 更新2025-07-10 收录
下载链接：
https://github.com/xinyueli2896/MusiScene.git, https://huggingface.co/datasets/tina2900/musi-scene
下载链接
链接失效反馈资源简介：
MusiScene数据集由人工智能大学的研究团队创建，旨在探索音乐语言模型在场景想象方面的能力。该数据集包含3371对视频和音频配对，以及相应的视频和音乐描述。研究人员利用现有的MU-LLaMA模型进行微调，以便使其能够回答与场景相关的问题，例如“这段音乐适合哪种视频？”研究团队希望利用生成的场景想象描述来提高视频背景音乐生成的质量。
提供机构：
人工智能大学
创建时间：
2025-07-08
AI搜集汇总
数据集介绍
构建方式
在跨模态音乐场景想象任务的研究背景下，Video-Audio CAptions Dataset (VACAD)的构建采用了严谨的多阶段方法。研究团队以Audioset的3371个音乐类视频片段为基础素材，通过SwinBERT模型生成视频描述，并利用MU-LLaMA模型生成音乐特征描述。为融合跨模态信息，创新性地采用Mixtral of Experts大语言模型，通过特定提示模板生成兼具视频场景和音乐特征的复合描述，最终形成包含视频描述、音乐描述和场景想象描述的三元组数据集。这种构建方法有效解决了传统音乐描述数据缺乏场景关联性的问题。
特点
该数据集最显著的特点是实现了音频与视觉模态的深度耦合。不同于传统音乐数据集仅包含音频特征或简单标签，VACAD通过精细设计的标注流程，使每个数据样本同时包含音乐本身的声学特征描述、对应视频的视觉场景描述，以及两者融合产生的场景想象描述。这种三维数据结构为研究音乐与视觉场景的关联规律提供了丰富素材，特别适合训练具有跨模态理解能力的音乐语言模型。数据集的另一个突出优势是其标注质量，所有描述均由先进的预训练模型生成并经大语言模型校验，确保了语义的准确性和丰富性。
使用方法
该数据集主要应用于音乐场景想象(MSI)任务的模型训练与评估。研究人员可基于视频-音乐描述对，训练模型理解音乐特征与视觉场景的映射关系。具体使用时，可将音乐特征作为模型输入，要求生成符合音乐氛围的视频场景描述；亦可进行反向任务，根据视频描述生成匹配的背景音乐特征。在视频背景音乐生成任务中，该数据集能显著提升生成音乐与视频内容的契合度。使用时应遵循跨模态对比学习范式，充分利用数据集中的三元组结构进行联合训练，以最大化挖掘音乐与视觉场景的深层关联。
背景与挑战
背景概述
Video-Audio CAptions Dataset (VACAD) 是由 Mohamed bin Zayed 人工智能大学的研究团队于2025年提出的跨模态数据集，旨在解决音乐场景想象（Music Scene Imagination, MSI）这一新兴任务。该数据集基于谷歌研究院的AudioSet构建，精选了3371个带有音乐标签的视频片段，并融合了视频描述与音乐描述，为音乐语言模型提供了丰富的跨模态训练数据。VACAD的创建标志着音乐理解领域从单一模态分析向视听关联认知的重要转变，其核心研究问题在于探索音乐与视觉场景的深层语义关联，为视频背景音乐生成等下游任务提供了新的研究范式。
当前挑战
VACAD面临的双重挑战体现在任务属性与构建过程两个维度。在领域问题层面，音乐场景想象任务需要突破传统音乐描述模型仅关注音高、节奏等固有特征的局限，解决跨模态语义对齐的难题，即如何建立音乐情感特征与视觉场景元素的映射关系。在数据集构建过程中，研究者需克服原始视频-音乐对描述粒度不一致的问题，通过混合专家模型实现多源描述的语义融合，同时确保生成的场景想象描述既保留音乐本质特征，又能准确反映潜在视觉场景的时空动态特性。
常用场景
经典使用场景
Video-Audio CAptions Dataset (VACAD) 作为跨模态数据集，在音乐场景想象（MSI）任务中展现了其核心价值。通过结合视频与背景音乐的配对标注，该数据集为模型训练提供了丰富的多模态上下文信息，使模型能够学习音乐与视觉场景之间的深层关联。例如，在篮球比赛视频中，模型可依据紧张悬疑的背景音乐生成‘适合体育竞赛关键时刻’的场景描述，这种能力在影视配乐、广告创意等需要音画协同的领域具有重要应用。
实际应用
在实际应用中，VACAD 为视频背景音乐生成（VBMG）系统提供了关键支持。基于该数据集训练的MusiScene模型，可自动为短视频平台、影视预告片等内容生成情感匹配的配乐。例如，系统能根据用户上传的婚礼视频，推荐欢快浪漫的旋律，或为惊悚片片段合成紧张压抑的音效。这种技术已逐步应用于自动化视频编辑工具，将音乐创作效率提升40%以上。
衍生相关工作
VACAD 催生了多项跨模态生成研究的突破。以MusiScene为代表的衍生工作，通过微调MU-LLaMA模型实现了音乐到场景的端到端想象；后续研究如LP-MusicCaps进一步探索了基于标签的层级化音乐描述生成。这些工作共同推动了Controllable Music Transformer、MusicGen等系统的演进，形成从音乐理解到生成的完整技术链条。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
China Health and Nutrition Survey (CHNS)
China Health and Nutrition Survey（CHNS）是一项由美国北卡罗来纳大学人口中心与中国疾病预防控制中心营养与健康所合作开展的长期开放性队列研究项目，旨在评估国家和地方政府的健康、营养与家庭计划政策对人群健康和营养状况的影响，以及社会经济转型对居民健康行为和健康结果的作用。该调查覆盖中国15个省份和直辖市的约7200户家庭、超过30000名个体，采用多阶段随机抽样方法，收集了家庭、个体以及社区层面的详细数据，包括饮食、健康、经济和社会因素等信息。自2011年起，CHNS不断扩展，新增多个城市和省份，并持续完善纵向数据链接，为研究中国社会经济变化与健康营养的动态关系提供了重要的数据支持。
www.cpc.unc.edu 收录
flames-and-smoke-datasets
该仓库总结了多个公开的火焰和烟雾数据集，包括DFS、D-Fire dataset、FASDD、FLAME、BoWFire、VisiFire、fire-smoke-detect-yolov4、Forest Fire等数据集。每个数据集都有详细的描述，包括数据来源、图像数量、标注信息等。
github 收录
HotpotQA
HotpotQA 是收集在英语维基百科上的问答数据集，包含大约 113K 众包问题，这些问题的构建需要两篇维基百科文章的介绍段落才能回答。数据集中的每个问题都带有两个黄金段落，以及这些段落中的句子列表，众包工作人员认为这些句子是回答问题所必需的支持事实。 HotpotQA 提供了多种推理策略，包括涉及问题中缺失实体的问题、交叉问题（什么满足属性 A 和属性 B？）和比较问题，其中两个实体通过一个共同属性进行比较等。在少文档干扰设置中，QA 模型有 10 个段落，保证能找到黄金段落；在开放域全维基设置中，模型只给出问题和整个维基百科。模型根据其答案准确性和可解释性进行评估，其中前者被测量为具有完全匹配 (EM) 和 unigram F1 的预测答案和黄金答案之间的重叠，后者关注预测的支持事实句子与人类注释的匹配程度（Supporting Fact EM/F1)。该数据集还报告了一个联合指标，它鼓励系统同时在两项任务上表现良好。 来源：通过迭代查询生成回答复杂的开放域问题
OpenDataLab 收录
ANC
美国国家语料库（American National Corpus，简称ANC）是一个大规模的电子美国英语语料库，包含多种类型文本及口语数据转录，旨在全面反映美国英语的多样性。其开放部分OANC约有1500万字，涵盖多种文体，且进行了自动标注。
anc.org 收录
ISIC 2018
ISIC 2018数据集包含2594张皮肤病变图像，用于皮肤癌检测任务。数据集分为训练集、验证集和测试集，每张图像都附有详细的元数据，包括病变类型、患者年龄、性别和解剖部位等信息。
challenge2018.isic-archive.com 收录