SeriesBench

该数据集是一个包含105部精心策划的以叙事驱动的系列作品的标准基准，覆盖了28个需要深入理解叙事的专业任务。数据集通过分层随机抽样的方式，按照8:1:1的比例划分为训练集、验证集和测试集，重点强调对叙事的理解，并包含了多种任务以评估模型的表现。该数据集的规模为105部系列作品，其任务旨在理解戏剧系列中的复杂叙事。This dataset is a standardized benchmark containing 105 carefully curated narrative-driven series, covering 28 specialized tasks that demand in-depth narrative comprehension. It is partitioned into training, validation, and test sets at an 8:1:1 ratio via stratified random sampling, with a core emphasis on narrative comprehension and incorporating diverse tasks to assess model performance. Composed of 105 series works, this dataset features tasks aimed at understanding complex narratives within dramatic series.

搜集汇总

数据集介绍

构建方式

在影视内容日益丰富、叙事结构日趋复杂的背景下，现有视频理解基准多聚焦于独立视频的视觉元素评估，难以捕捉跨集叙事中的深层逻辑与人物关系。为此，SeriesBench应运而生，其构建过程严谨而系统。首先，研究团队从快手平台精选了涵盖都市生活、古装、奇幻等11种热门题材的105部剧集，共计1072个视频片段。随后，设计了一种创新的长跨度叙事标注方法，要求32名专业标注员在完整观看视频后，对跨越长时间轴的关键事件与人物行为进行声明式语句的归纳，并通过严格的质量审核确保准确率达96%。最后，采用全信息转换技术，利用视频的全部信息（包括标注语句、字幕、主题及人物介绍），借助GPT-4o将标注数据自动生成为选择题、判断题与开放式问题等多样化任务格式，最终构建了包含29,196个任务的综合基准。

特点

SeriesBench的核心特质在于其前所未有的叙事导向性与多维度评估能力。不同于仅关注动作或物体状态的现有基准，该数据集首次将评估视角拓展至剧集级别的叙事理解，涵盖[视觉]、[剧本]、[音频]、[增强]与[理解]五大任务维度，并细分为28项子任务，如前因后果、悬念铺垫、人物动机、情感动态等。这种设计迫使模型不仅要识别画面中的元素，更要理解跨片段的因果逻辑与人物弧光。此外，数据集平均每个视频包含250.2个字幕令牌，远超同类基准，为模型提供了丰富的文本上下文。其多模态融合的特点——综合画面、字幕、音频与后期特效——使得评估更加贴近真实影视内容的复杂性，从而揭示了现有模型在叙事推理上的显著短板。

使用方法

使用SeriesBench评估模型时，研究者需按照官方指南对视频进行帧采样与字幕提取，并将输入组织为<帧序列>、<字幕>、<主题人物信息>与<问题>的格式。该基准支持三种任务类型：选择题与判断题采用准确率作为评估指标，开放式问题则结合BLEU-2、METEOR与BERTScore F1从词汇与语义层面进行综合评分。为深入分析模型能力，建议通过消融实验考察不同输入模态（如仅帧、仅字幕或全模态）对性能的影响，并可利用配套的PC-DCoT推理框架，通过构建情节事件链与人物时间链来引导模型进行结构化叙事推理，从而在评估模型基线能力的同时，验证特定增强方法的有效性。

背景与挑战

背景概述

随着多模态大语言模型在视觉理解领域的飞速发展，现有基准评测多聚焦于单一片段视频中的人体动作与物体状态等表层视觉元素，难以触及现代影视作品所蕴含的复杂叙事结构与角色发展脉络。为填补这一空白，北京航空航天大学虚拟现实技术与系统国家重点实验室联合快手科技于2025年提出了SeriesBench基准数据集。该数据集精心筛选了105部叙事驱动的剧集，涵盖都市、古装、奇幻等11种热门题材，共计1072个视频片段，并设计了涵盖视觉、剧本、音频、后期特效及综合理解五大维度的28项细粒度任务，旨在系统评估模型对剧集级叙事逻辑与角色关系的深层理解能力。SeriesBench的发布为多模态模型在连续叙事场景下的推理研究树立了重要标杆。

当前挑战

SeriesBench所面临的挑战首先源于叙事理解本身的复杂性：现有模型在单视频动作识别上虽已取得高精度，但在跨剧集的情节因果推理、角色动机分析及多模态信息融合等任务上表现乏力，例如对伏笔与呼应、情感动态等深层叙事要素的理解准确率远低于人类水平。其次，数据集构建过程亦充满挑战：为确保标注质量，研究团队招募了32名专业标注员，采用创新的长跨度叙事标注方法，要求标注员跨长时间跨度标注事件与角色，并经过严格质控流程，最终随机抽检的500条标注中合格率达96%。此外，将手工标注的陈述性语句通过全信息转换方法生成多样化的问答题型，也需精心设计以避免信息失真与任务偏差。

常用场景

经典使用场景

SeriesBench作为首个面向叙事驱动剧集理解的多模态大语言模型评估基准，其经典使用场景聚焦于检验模型在连续剧集语境下对复杂叙事结构的深度解析能力。该基准精心遴选了105部涵盖都市生活、古装奇幻、校园青春等多元题材的剧集，包含1072个视频片段，并设计了28项细粒度子任务，横跨视觉、剧本、音频、后期特效及综合理解五大维度。研究者通过该基准可系统评估模型在多集连续叙事中的情节追踪、角色关系推理、伏笔照应识别以及跨模态信息融合等高级认知能力，从而揭示现有模型在理解长程叙事因果链与多角色动态交互方面的根本性局限。

解决学术问题

SeriesBench的提出有效填补了现有视频理解基准在叙事连贯性评估上的关键空白。传统基准局限于单视频的视觉元素分析，如动作识别与物体状态检测，而忽视了现代视频中普遍存在的多集连续叙事结构。该基准通过引入长程叙事标注方法，将人工标注的声明式描述转化为多样化任务格式，系统性解决了模型在跨视频情节理解、角色动机推断、情感动态感知及悬念铺垫识别等学术难题。实验表明，顶尖多模态模型在该基准上表现显著低于人类水平，揭示了当前模型在叙事因果推理与多角色情节分析上的深层缺陷，为多模态理解研究指明了关键突破方向。

衍生相关工作

SeriesBench衍生了一系列重要的相关研究工作，其中最引人注目的是其配套提出的PC-DCoT（情节与角色双链思维）推理框架。该框架受人类追剧行为的启发，通过构建情节事件链与角色时间链，实现了对剧集叙事结构的系统性重构。实验证明，PC-DCoT能够使多种多模态大语言模型在SeriesBench上的性能提升超过10%。这一工作激发了后续研究者对叙事感知模型架构的探索，推动了面向长程视频理解的情境化推理方法发展。同时，该基准的发布也催生了针对剧集级视频理解的新一代评估范式，引导学界从单视频理解转向更具挑战性的多集叙事理解研究。