VLM2Vec/DiDeMo

DiDeMo数据集包含来自Flickr的10K长格式视频，每个视频都有大约4个按时间顺序注释的短句子组成的长段落地字幕。该数据集用于‘段落到视频’的检索任务，并分为训练集、验证集和测试集。支持的任务类别包括文本到视频、文本检索和视频分类。

The DiDeMo dataset consists of 10K long-form videos from Flickr, each with about 4 short sentences annotated in temporal order to form a long paragraph caption. This dataset is used for paragraph-to-video retrieval tasks and is split into training, validation, and test sets. The supported task categories include text-to-video, text-retrieval, and video-classification.

搜集汇总

数据集介绍

构建方式

DiDeMo数据集源自Flickr平台上的长视频资源，旨在推动视频与自然语言之间的跨模态检索研究。该数据集包含约1万段视频，每段视频均配有约4条按时间顺序标注的短句描述。为适配‘段落到视频’的检索任务，研究者借鉴现有工作，将同一视频的多条短句描述拼接为完整的段落文本。数据集采用官方划分方案，训练集涵盖8,395个视频及对应的8,395条拼接描述，测试集包含1,004个视频与1,004条拼接描述。原始视频文件以分卷压缩形式提供，可通过命令行工具解压获取。

特点

DiDeMo数据集的核心特色在于其面向‘段落到视频’检索的独特设计，通过将时间序列上的多条短句描述整合为连贯段落，提升了文本与视频语义对齐的复杂性。数据集规模适中，介于10K至100K之间，视频来源多样，涵盖丰富的场景与动作，适合用于视频分类、文本检索等多项任务。其标注信息严格遵循时间顺序，为细粒度的视频时刻定位提供了可靠基础。此外，数据集的官方发布版本确保了研究复现的稳定性与可追溯性。

使用方法

使用DiDeMo数据集时，研究者需首先下载并解压原始视频文件，随后加载JSON格式的标注数据，其中包含训练集与测试集的划分信息。推荐将拼接后的段落文本作为查询输入，与视频特征进行对比学习或相似度计算，以实现段落到视频的检索。该数据集兼容多种深度学习框架，可通过HuggingFace的datasets库直接加载配置，简化数据预处理流程。在评估阶段，采用标准的检索指标（如Recall@K）衡量模型性能，验证跨模态表示的鲁棒性。

背景与挑战

背景概述

在视频理解与自然语言处理的交叉领域中，时序定位与跨模态检索一直是备受瞩目的研究方向。DiDeMo数据集由Lisa Anne Hendricks、Oliver Wang、Eli Shechtman、Josef Sivic、Trevor Darrell及Bryan Russell等研究者于2017年在ICCV上提出，旨在解决视频中自然语言时刻定位的核心问题。该数据集包含约10,000个来自Flickr的长视频，每个视频配有约4句按时序排列的简短描述，通过拼接形成段落级描述，用于评估段落到视频的检索性能。DiDeMo的发布为视频与文本的细粒度对齐提供了标准化基准，推动了视频检索、时序定位及多模态表示学习等领域的发展，成为后续许多研究工作的重要参考。

当前挑战

DiDeMo数据集所面临的挑战主要体现在两个方面。首先，在领域问题层面，视频与自然语言之间的语义鸿沟是核心难题：视频包含丰富的动态视觉信息，而语言描述往往抽象且具有时序依赖性，现有模型难以精准捕捉段落描述与视频片段之间的细粒度对应关系，尤其在长视频中，冗余信息的干扰加剧了检索难度。其次，在数据集构建过程中，挑战源自视频来源的多样性与标注的复杂性：Flickr视频涵盖大量主题与风格，质量参差不齐，而人工标注需确保短句按时间顺序准确对应视频片段，这一过程既耗时又易引入主观偏差，导致标注一致性难以完全保证。此外，数据集规模相对有限（约10K视频），限制了深度模型在复杂场景下的泛化能力。

常用场景

经典使用场景

DiDeMo数据集在视频与自然语言交叉领域中被广泛用于段落级视频检索任务。该数据集包含约1万段来自Flickr的长视频，每段视频配有约4句按时间顺序标注的简短描述，研究者常将这些短句拼接为完整段落，以评估模型在复杂语义对齐上的表现。其经典使用场景在于构建从文本到视频的跨模态检索系统，要求模型不仅理解视频中的视觉内容，还需捕捉时间序列上的叙述逻辑，从而在全局视角下匹配文本段落与视频片段。这一任务挑战了模型对长时序信息的编码能力，成为衡量视觉语言预训练模型性能的重要基准。

实际应用

在实际应用中，DiDeMo数据集所支撑的段落级视频检索技术可赋能多种现实场景。例如，在智能视频监控系统中，用户可通过自然语言描述快速定位特定事件片段；在影视制作与内容管理平台中，编辑人员能基于剧本或摘要高效检索海量视频素材；在教育领域，学生可使用文本查询来寻找课程视频中的关键知识点。此外，该技术还可集成于社交媒体推荐系统，根据用户评论或标题自动匹配相关视频内容，提升信息获取效率。这些应用均依赖于DiDeMo所强化的跨模态理解能力，推动了人机交互的智能化进程。

衍生相关工作

DiDeMo数据集衍生了一系列经典研究工作，推动了视频语言理解的边界。其中，Hendricks等人提出的原始论文首次定义了时刻定位任务，为后续研究奠定基础。后续工作如Moment Alignment Network (MAN) 和Video Graph Transformer (VGT) 利用该数据集探索了时序关系建模与图结构表示。此外，大规模预训练模型如CLIP和VideoCLIP也在DiDeMo上进行微调，验证了其在零样本视频检索中的泛化能力。近期，基于对比学习的框架如TS2-Net和VLM2Vec进一步将DiDeMo作为核心基准，推动了从单一检索向多任务联合学习的演进，彰显了其作为学术试验田的持久价值。