slvqa
收藏资源简介：
SLVQA v4（流式长视频问答）是一个专门为在线视频-语言模型设计的基准测试数据集，旨在评估模型以连续流方式处理视频并在任意时间点回答问题的能力。该数据集将流式长视频理解划分为三个有意分层的子基准测试：1) perception（感知）子基准测试：专注于模型对当前屏幕内容的实时感知能力，包含125个短视频片段（1-18分钟），共计662个多项选择题，每个问题的答案可在查询后20秒内的视频内容中直接观察。2) memory（记忆）子基准测试：测试模型对几分钟到约1.5小时前连续视频流中事件的记忆能力，包含16个长视频流（28-99分钟，中位数91分钟），共计448个多项选择题，所有问题的证据至少出现在过去60秒，记忆距离中位数为17分钟。3) mega（超长时记忆与感知结合）子基准测试（v4新增）：挑战模型在长达24小时的视频流中同时维持实时感知和超长时记忆的能力，包含4个24小时的视频流（总计97小时内容），共计1852个多项选择题（其中1652个为实时问题，200个为后向记忆问题），后向问题的记忆距离长达18至23小时。所有视频内容均来自开放许可平台（如Wikimedia Commons和Internet Archive），涵盖纪录片、讲座、烹饪教程、新闻采访、自然野生动物、旅行、音乐会和公共领域工业影片等多种类型，以确保内容多样性。数据以JSON格式组织，每个问题条目包含视频路径、问题文本、四个选项、正确答案、证据时间戳和记忆距离等详细信息。该数据集适用于视频问答、在线视频-语言模型评估、长上下文理解和记忆机制研究等任务。
SLVQA v4 (Streaming Long Video Question Answering) is a benchmark dataset specifically designed for online video-language models, aiming to evaluate the ability of models to process videos in a continuous streaming manner and answer questions at arbitrary time points. The dataset innovatively divides streaming long video understanding into three intentionally stratified sub-benchmarks to directly measure model performance in memory and perception across different time scales. It consists of three parts: 1) perception sub-benchmark: focuses on the models real-time perception of current screen content, containing 125 short video clips (1-18 minutes), with a total of 662 multiple-choice questions, where answers can be directly observed within 20 seconds of the query in the video content. 2) memory sub-benchmark: tests the models memory of events from continuous video streams ranging from a few minutes to approximately 1.5 hours ago, containing 16 long video streams (28-99 minutes, median 91 minutes), with a total of 448 multiple-choice questions, where evidence for all questions appears at least 60 seconds in the past, and the median memory distance is 17 minutes. 3) mega sub-benchmark (new in v4): challenges the model to maintain both real-time perception and ultra-long-term memory in video streams up to 24 hours long, containing four 24-hour video streams (totaling 97 hours of content), with a total of 1852 multiple-choice questions (1652 real-time questions and 200 backward memory questions), where backward questions have memory distances ranging from 18 to 23 hours. All video content is sourced from open-license platforms (such as Wikimedia Commons and Internet Archive), covering diverse types including documentaries, lectures, cooking tutorials, news interviews, natural wildlife, travel, concerts, and public domain industrial films to ensure content diversity. The data is organized in JSON format, with each question entry containing detailed information such as video path, question text, four options, correct answer, evidence timestamps, and memory distance. This dataset is suitable for tasks such as video question answering, online video-language model evaluation, long-context understanding, and memory mechanism research.
数据集概述：SLVQA v4 — Streaming Long-Video QA with 24-hour Mega-streams
SLVQA v4 是一个专为在线视频大语言模型设计的基准测试，用于评估模型在连续视频流中任意时间点回答问题的能力。
核心结构与子基准测试
该数据集将“流式长视频理解”分解为三个基于记忆跨度的刻意分层子基准，以直接衡量模型能维持的记忆范围：
| 子基准 | 测试能力 | 视频数量与长度 | 问题数量 | 记忆距离 |
|---|---|---|---|---|
perception/ |
当前屏幕视觉感知（OCR / ACR / ATR / OJR / STU / FPD） | 125 个短视频片段（1 – 18 分钟） | 662 道选择题 | ≤ 20 秒 |
memory/ |
几分钟到几小时的记忆（EPM / ASI / HLD / REC / CRR） | 16 个长视频流（28 – 99 分钟，中位数 91 分钟） | 448 道选择题 | 63 秒 – 90 分钟（中位数 17 分钟） |
mega/ |
24 小时流，同时包含实时感知和回溯记忆问题（回溯问题在最后 2 小时内询问前 4 小时的内容） | 4 × 24 小时流（共 97 小时） | 1852 道选择题（1652 道实时 + 200 道回溯） | 实时 ≤ 20 秒，回溯 18 – 23 小时 |
| 总计 | 145 个视频 / 约 145 小时内容 | 2962 道选择题 |
关键特性与亮点
- 超长记忆跨度：
mega/子基准的记忆距离达到 18-23 小时，比以往最接近的基准长约 100 倍，专门用于测试流式系统在处理有限在线状态（如记忆库、令牌桶缓存、滑动窗口注意力）时的极限。 - 双轴压力测试：每个 24 小时流同时包含实时感知问题和回溯记忆问题。系统需在保持快速感知（低首令牌延迟）的同时，能检索 20 多小时前的状态，强制暴露感知与记忆之间的性能权衡。
- 数据来源：所有视频片段来自 Wikimedia Commons（约 220 个片段）和 Internet Archive（约 150 个片段），均为 CC / 公共领域许可。内容涵盖纪录片、讲座、烹饪/教程、新闻/访谈、自然/野生动物、旅行、音乐/音乐会及 Prelinger 公共领域工业影片。
- 数据格式：每个子基准目录包含
data/annotations.json文件，按模式（backward,realtime,forward）分组。每个条目包含问题、4 个选项、正确答案、证据时间、记忆距离等字段。 - 许可协议：数据集标注采用 CC-BY-SA 4.0 许可。每个源视频片段保留其自身许可（CC-BY, CC-BY-SA, CC-0 或公共领域）。工具包代码采用 MIT 许可。
