SVLTA

SVLTA是一个合成的视觉语言时间对齐数据集，由中国科学技术大学等机构提出。该数据集通过模拟环境中的功能程序生成合成视频，包含25.3K个人类活动场景，77.1K个语言描述和高质量的时间对齐活动序列，涵盖了96种不同的组合动作。数据集旨在为视觉语言时间对齐任务提供一个公平的诊断框架，具有可扩展性、可控性、合成性、组合性和无偏性等特点。

SVLTA is a synthetic vision-language temporal alignment dataset proposed by institutions including the University of Science and Technology of China. Generated via functional programs in simulated environments, the dataset contains 25.3K human activity scenes, 77.1K language descriptions, and high-quality temporally aligned activity sequences, covering 96 distinct composite actions. It aims to provide a fair diagnostic framework for vision-language temporal alignment tasks, and possesses characteristics including scalability, controllability, synthetic nature, compositionality, and unbiasedness.

搜集汇总

数据集介绍

构建方式

SVLTA数据集通过精心设计的控制生成方法在仿真环境中构建，结合了常识知识、可操作动作和约束过滤策略。采用VirtualHome模拟器生成合成视频，通过功能程序记录动作的时间戳，自动与语言描述对齐，确保时间标注的高质量和一致性。数据生成过程包括初始化情境组件、构建常识活动图、控制活动手稿以及全局过滤调整，以实现数据的多样性和平衡性。

特点

SVLTA数据集包含25.3K个合成视频情境和77.1K条高质量时间标注，涵盖96种组合动作。其突出特点在于通过合成方法实现了时间分布的可控性，避免了真实视频中常见的时间偏差问题。数据集支持过程、组合和实体三个层次的时间对齐评估，并通过提出的时间Jensen-Shannon散度（TJSD）指标量化时间分布的平衡性，为模型诊断提供了更公平的评估环境。

使用方法

该数据集主要用于评估模型在视觉-语言时间对齐方面的能力，包括时间问答、分布偏移敏感性和时间对齐适应性三个任务。研究人员可利用SVLTA提供的合成视频、语言描述和精确时间标注，测试模型在不同时间分布下的表现。数据集特别适用于分析模型对时间偏差的鲁棒性，以及评估时间知识在新情境中的迁移能力，为视频大语言模型和时间对齐模型的开发提供重要基准。

背景与挑战

背景概述

SVLTA（Synthetic Vision-Language Temporal Alignment）数据集由来自中国科学技术大学、MIT-IBM Watson AI Lab和香港中文大学的研究团队于2025年提出，旨在解决视觉-语言时序对齐这一关键问题。该数据集通过合成视频情境生成方法，构建了包含25.3K个合成视频情境和77.1K个高质量时序标注的大规模基准。其核心研究问题是评估模型在时序维度上同步视觉场景与语言上下文的能力，填补了现有多模态模型在动态场景理解中的空白。SVLTA的创新性在于采用虚拟仿真环境生成数据，通过程序化控制确保时序标注的精确性，显著提升了评估的客观性和全面性，对视频理解、时序推理等领域产生了重要影响。

当前挑战

SVLTA面临的挑战主要体现在两个方面：在领域问题层面，现有视觉-语言模型普遍存在时序感知能力不足的问题，难以准确捕捉动态场景中视觉事件与语言描述的时间对应关系，如实验显示当前最优模型在时序问答任务中的mIoU仅达18.90；在构建过程层面，需克服真实视频数据中固有的时序分布偏差问题，包括过程级、组合级和实体级的三重时序偏差。研究团队通过设计活动常识图、可控活动脚本和不等式约束全局过滤等方法，最终将数据集的时序Jensen-Shannon散度控制在0.322以下，较传统数据集如Charades-STA的0.881有显著提升。

常用场景

经典使用场景

SVLTA数据集在视觉-语言时序对齐领域具有重要应用价值，其通过合成视频情境生成方法，为研究者提供了高质量、多样化的时序标注数据。该数据集特别适用于评估模型在时序问答、分布偏移敏感性和时序对齐适应性等方面的能力。通过模拟人类日常活动场景，SVLTA能够精确控制动作的时序分布，从而为模型诊断提供公平且全面的评估环境。

衍生相关工作

SVLTA数据集的推出催生了一系列相关研究工作，尤其是在视频大语言模型（VidLLMs）和时序对齐模型领域。基于SVLTA，研究者们开发了多种新型模型架构，如时序敏感的VTimeLLM和TimeChat，这些模型在时序问答任务中表现出色。此外，SVLTA还为分布偏移敏感性研究提供了基准，推动了如QD-DETR等Transformer-based模型在时序对齐任务中的应用与优化。

数据集最近研究

最新研究方向

SVLTA数据集作为视觉-语言时序对齐领域的创新基准，其最新研究聚焦于解决传统视频标注中的时序分布偏差、标注不精确及组合性不足三大挑战。通过合成视频生成与程序化标注技术，该数据集在诊断模型时序对齐能力方面展现出独特优势。当前前沿探索集中在三个方向：一是时序问答任务中多模态大语言模型的性能瓶颈分析，揭示了现有模型在细粒度时序理解上的显著缺陷；二是分布偏移敏感性研究，通过设计长尾采样与平衡测试集，验证了时序偏差对模型泛化性的关键影响；三是跨场景时序知识迁移机制，发现基于Transformer的架构在适应新视频情境时表现出优越的转移能力。这些研究为构建具有时序感知能力的下一代视频理解模型提供了重要方法论支撑，同时推动了虚拟仿真数据在复杂时序推理任务中的应用边界。

相关研究论文

• SVLTA: Benchmarking Vision-Language Temporal Alignment via Synthetic Video Situation

  中国科学技术大学 · 2025年