EchoFoley-6k

EchoFoley-6k是由字节跳动智能创作团队联合多所高校构建的大规模视频-音频标注数据集，包含6000个高质量视频-指令对和42000个细粒度声音事件标注。该数据集从VGGSound和PE Video Dataset中筛选运动明显的视频，通过LLM生成创意故事框架，再由专家标注员细化时间边界和声音属性，最终形成包含14种主题、平均时长11秒的视频样本。数据集创新性地采用符号化声音事件表示方法（时间戳、语义描述、音频属性），支持实例级、组级和视频级的三层控制，为视频配音生成任务提供精细化的时空对齐和属性控制基准。EchoFoley-6k is a large-scale video-audio annotated dataset constructed by ByteDance's Intelligent Creation Team in collaboration with multiple universities. It contains 6,000 high-quality video-instruction pairs and 42,000 fine-grained sound event annotations. This dataset selects videos with prominent motions from VGGSound and PE Video Dataset, generates creative story frameworks via LLMs, then has expert annotators refine the temporal boundaries and sound attributes, ultimately resulting in video samples covering 14 themes with an average duration of 11 seconds. The dataset innovatively adopts a symbolic sound event representation method (including timestamps, semantic descriptions, and audio attributes), supporting three-level control at instance-level, group-level, and video-level, thereby providing a fine-grained spatio-temporal alignment and attribute control benchmark for video dubbing generation tasks.

搜集汇总

数据集介绍

构建方式

在视频引导音频生成领域，为实现细粒度事件级控制，EchoFoley-6k数据集的构建采用了严谨的多阶段专家协同流程。其核心是从VGGSound和PE Video Dataset等源数据中筛选出包含明显发声动作的视频片段，确保声音事件具有视觉可追溯性。随后，利用大型语言模型基于视频元数据和逐帧视觉描述生成初步的创意故事与声音事件假设，作为高级语义支架。最关键的一步是引入专业人工标注员进行精细化修订，他们将故事转化为可执行的自然语言指令，并精确调整每个声音事件的时间边界，同时标注音高、音量、强度等多维度声学属性，最终形成包含视频、指令和密集事件标注的三元组数据。

特点

EchoFoley-6k数据集的核心特点在于其事件中心化的层次控制能力与精细的符号化表征。数据集包含超过6000个视频-指令对以及42000个细粒度声音事件标注，每个事件均以结构化元组（时间、语义描述、属性）进行定义，明确规定了声音在何时、以何种方式产生。其指令设计覆盖了从实例级、组级到视频级的层次化控制，并支持时间、音色、音量等多种控制类型的组合，从而能够精准表达如“将第二次猫叫改为狮子吼”或“使所有先前声音比后续声音更响亮”等复杂创意需求。这种设计有效解决了现有视频-文本-音频生成任务中视觉主导、控制粒度粗、指令理解弱等关键局限。

使用方法

该数据集主要服务于视频引导的、具备细粒度可控性的音频生成任务的研究与评估。使用者通常以静音视频和自然语言指令作为输入，目标是生成既与视觉内容同步，又严格遵循指令中事件级约束的音频轨道。数据集配套的评估套件提供了自动与人工双重评估标准：自动指标从时间对齐度、音色匹配度和音量控制度三个维度量化生成音频的指令遵循能力；人工评估则侧重于指令遵循度、音画一致性及感知质量等主观维度。研究人员可利用该基准系统性地评测和提升模型在事件感知、时序推理及多属性协同控制方面的性能。

背景与挑战

背景概述

在多媒体内容生成领域，音效作为塑造叙事语义与情感氛围的关键层次，其可控生成一直是研究难点。EchoFoley-6k数据集由字节跳动智能创作团队与多所高校研究人员于2025年共同构建，旨在推动视频引导的细粒度可控音效生成研究。该数据集的核心研究问题在于解决现有视频-文本-音频生成范式存在的视觉主导性、细粒度可控定义缺失以及指令理解薄弱等局限。通过引入事件中心化分层控制的新范式，EchoFoley-6k提供了超过6000个视频-指令-标注三元组及42000个细粒度发声事件标注，为视频配音、影视后期等创造性应用奠定了高质量基准，显著提升了多模态生成模型的指令跟随与可控合成能力。

当前挑战

EchoFoley-6k所针对的领域挑战在于实现视频引导的细粒度可控音效生成，这要求模型能够精准理解并执行自然语言指令，对特定发声事件的时间、内容及属性进行分层编辑。具体挑战包括：在事件层面，模型需克服视觉主导偏差，平衡视觉内容与文本指令的权重；在控制粒度上，需实现从视频级、组级到实例级的精确语义与时间对齐。数据构建过程中，挑战主要体现于高质量标注的获取：需要设计复杂的流水线融合大语言模型生成与人工修正，以确保发声事件的时间边界准确、语义描述无歧义，并能覆盖音高、强度、空间化等多维度属性，从而支撑分层可控任务的系统评估与模型迭代。

常用场景

经典使用场景

在视频内容创作与后期制作领域，EchoFoley-6k数据集为视频到音频生成任务提供了精细化的控制基准。该数据集通过事件中心的层次化控制范式，支持对视频中每个声音事件的时序、语义及声学属性进行独立调控。其经典应用场景在于训练和评估模型在给定静默视频和自然语言指令下，生成与视觉内容高度同步且符合指令细节的创意音效，例如将猫的第二次喵叫替换为狮吼，或在特定时刻插入魔法爆炸声，从而推动视频配音、影视后期等创意工作流程的智能化。

解决学术问题

EchoFoley-6k数据集旨在解决视频到音频生成领域长期存在的三大核心问题：视觉与文本条件之间的不平衡导致的视觉主导偏差；缺乏细粒度可控生成的具体定义；以及现有数据集依赖简短分类标签所造成的指令理解与跟随能力薄弱。通过引入符号化声音事件表示和层次化控制任务，该数据集为学术界提供了系统研究事件级时序对齐、语义属性编辑及多事件协调控制的标准化平台，显著提升了生成模型在时序控制、音色匹配和音量调制等方面的可控性与可解释性。

衍生相关工作

EchoFoley-6k数据集的发布催生了一系列围绕细粒度可控音频生成的研究工作。其提出的EchoVidia框架，作为一种基于慢快思维策略的智能体生成方法，显著提升了模型在指令跟随与事件控制方面的性能。此外，该数据集也促进了视频大语言模型在声音事件感知与定位能力上的评估与改进，相关研究扩展至开放词汇声音事件检测、时序边界精确预测等方向。这些衍生工作共同推动了多模态生成模型向更精细、更可控、更理解人类创意意图的方向演进。