SpookyBench

SpookyBench是一个用于评估视频模型在时间理解方面的基准数据集，它通过将信息仅编码在时间序列中类似于噪声的帧中，排除了空间线索，从而迫使模型从帧之间的变化中推导出意义。该数据集旨在帮助研究人员发现视频模型在时间理解方面的局限性，并推动视频理解领域的研究。

SpookyBench is a benchmark dataset for evaluating the temporal understanding capabilities of video models. It encodes information exclusively in noise-like frames within the temporal sequence, eliminating spatial cues, thus forcing models to derive meaningful content from the variations between frames. This dataset aims to help researchers identify the limitations of video models in temporal understanding and advance research in the field of video understanding.

搜集汇总

数据集介绍

构建方式

SpookyBench数据集的构建采用了一种创新的时间编码框架，通过算法1和算法2生成仅包含噪声样帧的时间序列视频。具体而言，该数据集包含四类内容：文本、形状、图像和动态场景，每类内容均通过特定的运动模式（如前景与背景噪声的相反运动）进行编码，使得信息仅在时间维度上可感知。视频分辨率统一为960×540像素，平均时长为7.11秒，确保时间动态的充分展现。数据生成过程结合了SAM2分割模型和深度估计算法，以消除空间线索，强制模型依赖时间模式进行推理。

使用方法

SpookyBench专为评估视频语言模型的纯时间理解能力而设计。使用时需输入完整视频序列，模型需从帧间动态中识别编码内容。评估采用直接匹配准确率指标，允许语义模糊类别（如动态场景）的多标签响应。研究提示工程策略（直接提示与思维链提示）均无效，表明模型缺陷源于架构层面。该数据集可推动新型时间感知架构的研究，适用于医疗诊断、自主系统等依赖精细时间推理的领域。代码与数据生成器已开源，支持无限扩展数据规模。

背景与挑战

背景概述

SpookyBench是由King Abdullah University of Science and Technology (KAUST)和Mohamed bin Zayed University of AI (MBZUAI)的研究团队于2025年提出的一个创新性视频-语言基准测试数据集。该数据集旨在评估视频-语言模型在纯时序模式理解上的能力，通过将信息编码为仅含噪声样帧的时序序列，模拟从生物信号到隐蔽通信等多种自然现象。研究团队发现，尽管人类在这些序列中识别形状、文本和模式的准确率超过98%，但最先进的视频-语言模型却表现出0%的准确率，揭示了现有模型在时序理解上的根本性局限。SpookyBench的提出为视频理解领域的研究提供了新的方向，特别是在需要精细时序推理的应用中，如医学诊断和自主系统。

当前挑战

SpookyBench面临的挑战主要体现在两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，SpookyBench旨在解决视频-语言模型在纯时序模式识别上的不足，这一问题在现有基准测试中常被空间特征所掩盖。模型过度依赖帧级空间特征，无法从时序线索中提取意义，导致在低空间信噪比(SNR)环境下时序理解能力迅速退化。在构建过程方面，研究团队需要设计精确的时序编码框架，确保信息仅通过帧间变化传递，同时保持人类可感知而机器难以识别的特性。此外，数据集的生成涉及复杂的噪声模式动画算法和深度图处理技术，需要平衡时序信息的可识别性与评估的严谨性。这些挑战共同推动了新型架构或训练范式的需求，以将空间依赖与时序处理解耦。

常用场景

经典使用场景

SpookyBench数据集专为评估视频语言模型在纯时间模式识别能力而设计，其经典使用场景包括对模型在时间序列噪声帧中识别文本、形状、图像和动态场景的能力进行系统性测试。通过完全消除空间线索，该数据集迫使模型仅依赖帧间变化提取信息，从而精准评估其时间推理能力的局限性。

解决学术问题

该数据集揭示了当前视频语言模型在纯时间理解任务中的根本性缺陷，解决了三个关键学术问题：1) 模型过度依赖帧级空间特征而忽视时间线索的架构局限性；2) 低空间信噪比环境下时间理解能力退化机制；3) 人类与机器在时间模式识别上的性能差距量化。这一发现推动了新型神经网络架构的设计需求，促使研究者重新思考时空信息的整合方式。

实际应用

在现实应用中，SpookyBench的发现对依赖精确时间理解的领域具有深远影响。生物信号解码领域可借鉴其时间编码机制研究生物发光通信；医疗诊断系统需应对类似SNR阈值效应带来的检测盲区；自动驾驶系统则需提升对动态路标时间序列的解析能力。该数据集还为隐蔽通信、动态密码学等安防领域提供了算法测试基准。

数据集最近研究

最新研究方向

SpookyBench作为视频语言模型（VLMs）领域的新型基准测试，聚焦于纯时序模式理解的评估，揭示了当前模型在时空信息解耦任务中的根本性局限。该数据集通过噪声帧序列编码文本、形状及深度信息，构建了无空间线索的极端测试环境，其核心发现表明：人类在时序模式识别中展现98%的准确率，而包括GPT-4o在内的15种前沿VLMs均呈现0%准确率，凸显模型对帧级空间特征的过度依赖与时序推理能力的结构性缺失。这一发现推动了三个关键研究方向：1）新型架构设计需借鉴神经科学的分布式时序处理机制（如顶叶皮层的时间-空间整合理论），开发独立于空间特征的时序计算模块；2）训练范式革新要求构建低信噪比时序数据预训练策略，模拟生物信号传递等自然时序编码场景；3）应用层面启示了医疗诊断（如动态病理信号解析）与隐蔽通信（如生物发光时序解码）等依赖精细时序推理的领域需重新评估现有VLMs的适用边界。相关研究已引发对视频理解评估体系的反思，促使MVBench等主流基准引入时序隔离测试单元，其方法论更被扩展至神经形态视觉传感器的脉冲时序分析领域。

相关研究论文

• Time Blindness: Why Video-Language Models Can't See What Humans Can?

  沙特国王阿卜杜拉科技大学（KAUST） · 2025年