AIML-TUDA/CycliST

CycliST是一个用于评估视频语言模型在循环状态转换推理能力上的合成诊断基准数据集。它专注于周期性模式，如物体运动和视觉属性的周期性变化，以填补现有视频推理基准在捕捉线性或因果结构方面的不足。数据集包含14,800个全高清视频（1920×1080，32帧/秒，每个视频5秒/160帧），以及约120,000个模板生成的问题-答案对。视频通过Blender（Cycles引擎）进行物理渲染，并附带每帧的完整地面真值（位置、缩放、旋转、颜色、空间关系）。数据集分为5个难度等级（L1到L5），从单个循环物体到多个循环物体，并增加场景范围的周期性光照变化。支持的任务包括视频问答和场景理解/描述。数据集结构包括视频、场景元数据和问题文件夹，并分为训练、验证和测试集。数据生成过程是程序化的，确保物体在场景中的有效放置。评估使用LLM法官（Llama3-70B）进行答案评分。数据集为完全合成，局限性包括不捕捉真实世界场景的细微差别、使用固定频率循环等。发布在CC BY 4.0许可证下。CycliST is a synthetic, diagnostic benchmark for evaluating Video Language Models (VLMs) on their ability to reason over cyclical state transitions, focusing on periodic patterns in object motion and visual attributes. It addresses the gap in existing video-reasoning benchmarks that largely capture linear or causal structure. The dataset includes 14,800 Full-HD videos (1920×1080, 32 fps, 5 seconds/160 frames each) and approximately 120k template-generated question-answer pairs. Videos are rendered using Blender (Cycles engine) with physically based rendering, and come with complete per-frame ground truth (positions, scale, rotation, color, spatial relations). It features 5 difficulty tiers (L1 to L5), ranging from one cyclic object to multiple cyclic objects with added scene-wide periodic light cycles. Supported tasks include Video Question Answering (VQA) and Scene Understanding/Captioning. The dataset structure comprises videos, scene metadata, and questions folders, split into train, validation, and test sets. Data generation is procedural with backtracking placement validation. Evaluation uses an LLM judge (Llama3-70B) for scoring free-form answers. The dataset is entirely synthetic, with limitations such as not capturing real-world scene nuances and using stationary frequencies. It is released under the CC BY 4.0 license.

搜集汇总

数据集介绍

构建方式

CycliST是一个专注于视频语言模型在周期性状态转换推理能力上的合成诊断基准数据集。其构建过程深受CLEVR启发，采用程序化场景生成与回溯式放置机制，确保场景中物体在时间维度上满足周期性运动与属性变化的约束。每个场景均通过Blender Cycles引擎进行物理逼真渲染，生成1920×1080分辨率、32帧每秒、时长5秒的完整高清视频序列，并同步产出包含物体位置、尺度、旋转、颜色及空间关系等完整时间元数据的JSON文件。数据集共包含14,800个视频及约12万组基于模板生成的问答对，覆盖从单一周期物体到全局光照周期变化的五个难度层级。

使用方法

CycliST以原始视频、场景元数据和问答文件的形式发布，用户可通过克隆包含git-lfs的完整仓库获取全部数据（约15.6 GB），或利用Hugging Face Hub API按需下载场景和标注子集以节约存储。数据集已划分为训练、验证和测试三部分，并为每个难度层级提供了均衡的样本分配。使用时可加载视频与对应JSON标注，针对视频问答任务调用大型语言模型裁判（如Llama3-70B）对模型自由文本输出进行评估，或基于场景图进行物体与周期属性的精确匹配，从而在周期计数、周期估计误差及场景描述等多个维度全面衡量模型的时空推理性能。

背景与挑战

背景概述

CycliST数据集由德国达姆施塔特工业大学、本田欧洲研究所和埃因霍温理工大学等机构的研究人员于2026年创建，发表于《数据为中心的机器学习研究杂志》。该数据集聚焦于视频语言模型对周期性状态转换的推理能力，填补了现有视频推理基准大多仅关注线性或因果结构、鲜少测试模型检测与利用周期动态能力的空白。其核心研究问题在于评估模型能否准确识别、追踪和解释对象在运动与视觉属性中呈现的周期性变化。通过模拟交通灯、卫星轨道等物理世界中普遍存在的周期模式，CycliST为视频时空推理研究提供了独特的诊断工具，推动了该领域对时变逻辑的理解。

当前挑战

CycliST所解决的领域挑战包括：视频语言模型在时空推理中缺乏对周期性动态的敏感性，现有基准难以刻画模型对周期模式、对象计数及节律估计的能力，导致时变逻辑评估存在盲区。数据集构建过程中的挑战则体现在：需通过Blender精确渲染160帧全高清视频，并借助回溯放置机制确保场景内对象边距与跨帧空间关系的一致性；同时，针对五种难度层级设计多样化周期类型（运动、属性与光照周期），并基于CLEVR框架扩展时间算子以生成模板化问题，使问题覆盖计数、相对相位等复杂推理任务，这对程序化生成与验证流程提出了高要求。

常用场景

经典使用场景

CycliST作为一个精心设计的合成诊断基准数据集，专用于评估视频语言模型在周期性状态转移推理任务上的能力。其核心使用场景涵盖了视频问答与场景理解两大方向，研究者可通过该数据集驱动模型对物体周期性运动模式与视觉属性变化进行精准捕捉。具体而言，数据集包含超过14,800段高分辨率视频片段，配合逾12万组模板生成的问题-答案对，以及逐帧完整的场景元数据，为细粒度的时空推理评测提供了标准化平台。五个难度等级层层递进，从单一周期物体的基础感知延展至多周期物体交互及全局光照动态，全面检验模型在周期性检测、物体计数与周期估计等维度的表现。这一设计使得CycliST成为当前少有的、专门针对周期性动态推理进行系统性评估的权威基准。

解决学术问题

该数据集精准回应了视频理解领域中一个长期被忽视的学术问题——现有视频推理基准大多聚焦于线性因果或非周期性动态场景，缺乏对物体周期性运动与状态转移的系统化评测与数据支撑。CycliST通过构建高度可控的合成环境，将周期性状态转移抽离为独立变量，赋予了研究者衡量模型在周期性检测、属性追踪与时间模式归纳等认知能力上的标尺。实验揭示，即使是当前顶尖的开源与商业视频语言模型，在识别周期模式、计数动态物体或估算周期长度等任务上也遇到了显著瓶颈，这有力地证明了现有模型在时序推理能力上存在结构性缺陷。因此，CycliST不仅填补了周期推理评测的空白，更为推动视频理解模型向更通用、更贴近物理世界动态规律的方向进化提供了关键的理论与实证基础。

实际应用

在现实工业与科学场景中，周期性动态无处不在，诸如交通信号灯的时序切换、工业传送带上的物体往复运动、医疗影像中的心跳节律监测，乃至卫星轨道周期分析，均依赖于对周期性空间视觉信息的精确理解。CycliST数据集所牵引的模型能力提升，可直接赋能智能监控系统对重复性异常行为（如陌生人徘徊）进行自动预警，支持工业机器人对周期性装配动笔做出实时跟踪与自适应调整，并为自动驾驶决策中识别周期性交通信号与标志提供关键推理能力。此外，在虚拟现实与数字孪生等构建数字世界的应用中，周期感知能力有助于增强场景的动态真实感与交互智能。这些现实需求深刻表明，CycliST所测评的周期性推理并非学术空想，而是推动视频理解技术走向真实场景落地的关键一环。

数据集最近研究

最新研究方向

随着视频语言模型在时空推理领域的快速发展，CycliST数据集应运而生，精准填补了现有基准在周期性状态转换推理能力评估上的空白。该数据集受CLEVR诊断性传统启发，通过14,800段全高清合成视频及约12万组问答对，系统性地对模型检测、追踪和利用周期性动态的能力进行五级难度梯次测试。前沿研究热点聚焦于揭示当前顶尖开放与专有视频语言模型（如Intern、LLaVA-Video及Gemini系列）在识别循环模式、计数运动物体及估算周期长度等方面的显著短板——即使参数量高达78B，模型仍难以可靠地完成这些基础时空推理任务。这一发现不仅暴露了现有模型在理解自然物理世界中普遍存在的周期性现象（如交通灯切换、卫星轨道运动）时的结构性缺陷，更将研究界目光引向模型对非因果、非线性动态结构的认知瓶颈，对推动视频理解从孤立事件解析向连续周期规律捕获的范式跃迁具有重要且深远的意义。