Memories-ai/UGC-VideoCap

UGC-VideoCaptioner数据集是一个针对短形式用户生成视频的详细全模态字幕生成的新型基准数据集。它包含了1000个TikTok视频，通过结构化的三阶段人工在环标注流程，覆盖了音频、视觉以及音频视觉联合的语义。数据集还提供了4000个精心设计的问答对，用于评估模型在单模态和跨模态理解方面的性能。The UGC-VideoCaptioner dataset is a new benchmark for detailed multimodal captioning of short-form user-generated videos. It consists of 1000 TikTok videos annotated through a structured three-stage human-in-the-loop pipeline covering audio-only, visual-only, and joint audio-visual semantics. The dataset also includes 4000 carefully crafted QA pairs for evaluating the models performance in both unimodal and cross-modal understanding.

搜集汇总

数据集介绍

构建方式

在短视频平台蓬勃发展的当下，用户生成内容（UGC）中的音视频信息往往深度交织，而现有基准却普遍忽视音频模态。为填补这一空白，UGC-VideoCap数据集应运而生。该数据集精心选取了1,000条来自TikTok平台的短视频，通过一套结构化的三阶段人工闭环流水线进行标注，分别捕获纯音频、纯视觉以及音视频联合语义。此外，还构建了4,000个精心设计的问答对，用以探测单模态与跨模态的理解能力。这一构建方式确保了数据集在描述真实世界UGC视频时，能够实现音频与视觉模态的均衡整合。

使用方法

该数据集的使用方法灵活且明确。研究者可依据提供的推理提示词，引导模型生成融合多模态信息的连贯描述段落。具体而言，用户需从HuggingFace下载数据集，并参考官方GitHub仓库中的示例代码进行模型推理与评估。评估环节采用GPT-4o作为评判模型，对生成的描述在视觉、音频与细节三个维度进行打分。此外，数据集还配套了基于Qwen2.5-Omni-3B的蒸馏模型UGC-VideoCaptioner-3B，支持通过监督微调与组相对策略优化（GRPO）进行高效训练，便于研究者快速复现与拓展。

背景与挑战

背景概述

在短视频平台如TikTok蓬勃发展的当下，用户生成内容（UGC）成为多模态视频理解研究的沃土。这些视频往往蕴含丰富且交织的音频与视觉信息，然而，现有的视频描述基准与模型大多以视觉为中心，忽视了音频在传递场景动态、说话者意图及叙事语境中的关键作用。为填补这一空白，由Memories.ai团队主导，于2025年发布了UGC-VideoCap数据集。该数据集聚焦于短格式UGC视频的精细全模态描述，精心挑选了1000个TikTok视频，通过结构化的人机协同三阶段标注流程（涵盖纯音频、纯视觉及音视频联合语义），并额外构建了4000个探究单模态与跨模态理解的高质量问答对，为推进真实、无约束环境下的全模态视频描述研究奠定了坚实基础。

当前挑战

当前领域面临的核心挑战在于，现有模型难以均衡地整合音频与视觉模态，以生成细腻且连贯的视频描述。UGC-VideoCap的构建过程同样充满挑战：首先，需设计一套能精准分离并联合标注音频与视觉语义的复杂流程，确保标注质量；其次，在有限的数据规模下（仅1000个视频），如何有效训练轻量级模型以应对开放世界的多样性，成为关键难题。为此，研究团队提出了一种两阶段训练策略——监督微调后接组相对策略优化（GRPO），并蒸馏出3B参数的UGC-VideoCaptioner模型，在数据高效的条件下实现了与大型模型相媲美的性能，为全模态视频描述在资源受限场景下的应用开辟了新路径。

常用场景

经典使用场景

UGC-VideoCap数据集的核心应用场景在于推动用户生成短视频的全模态细粒度描述生成。该数据集聚焦于类似TikTok的真实世界短视频，这些视频通常蕴含丰富的视听交织信息。研究者可借助此基准，训练模型生成兼顾视觉场景、音频线索（如背景音乐、人声语调、音效）以及屏幕文本的连贯叙事性描述，从而实现对短视频内容全面而细腻的语义理解。

解决学术问题

该数据集精准回应了现有视频描述基准与模型过度偏重视觉模态而忽视音频语义贡献的学术困境。通过提供1000条经三阶段人工标注的TikTok视频数据，并构建4000个涵盖单模态与跨模态理解的问答对，UGC-VideoCap为探究视听信息如何协同构建视频叙事提供了标准化评估平台，有效推动了多模态视频理解研究从视觉中心向均衡全模态范式的转型。

实际应用

在实际应用中，UGC-VideoCap衍生的模型可赋能短视频平台的内容自动标注、视频检索、无障碍字幕生成及个性化推荐系统。例如，通过精准捕捉视频中的背景音乐情绪与旁白意图，系统能够为听障用户生成更具情境感的描述，或辅助创作者进行内容分析。此外，该数据集对音频细节的强调也使其适用于社交媒体趋势监测与视频广告效果评估等商业场景。

数据集最近研究

最新研究方向

针对短视频平台用户生成内容（UGC）中音视频模态深度融合的挑战，UGC-VideoCap数据集应运而生。当前视频描述研究长期受限于视觉中心范式，忽视了音频在传达场景动态、说话者意图及叙事语境中的关键作用。该数据集通过结构化三阶段人工标注流程，对1000条TikTok短视频进行了音频单模态、视觉单模态及音视频联合语义的精细标注，并辅以4000组跨模态理解问答对，为全模态视频描述提供了高保真基准。在此基础上，研究者提出UGC-VideoCaptioner（3B参数）模型，采用监督微调与群体相对策略优化（GRPO）的两阶段蒸馏策略，从Gemini 2.5 Flash高效迁移知识，在仅使用1K训练数据的情况下即实现了对基线模型的显著超越。这一工作不仅填补了UGC场景下全模态视频描述的空白，更通过数据高效的训练范式，为短视频内容理解、智能推荐及无障碍访问等应用提供了兼具质量与实用价值的技术基石，推动了多模态学习从实验室走向真实世界的关键跨越。