Awesome Long-Term Video Understanding

该合集专注于长视频理解领域，收录了长视频（未经修剪的视频）相关的数据集、研究论文和工具。合集覆盖了表示学习、高效建模、长视频大语言模型、动作定位、密集视频描述、时间视频定位、长视频预测等多个任务主题，旨在为研究人员提供资源索引和整理。This collection focuses on the field of long video understanding, and collects datasets, research papers and tools related to long videos (i.e., untrimmed videos). It covers multiple task themes including representation learning, efficient modeling, long-video large language models (long-video LLMs), action localization, dense video captioning, temporal video grounding, and long video prediction, aiming to provide researchers with curated resource indices and organized research resources.

原始信息汇总

数据集详情页面概述

该页面是一个名为 "Awesome Long-Term Video Understanding" 的 GitHub 仓库，专注于整理和收集关于长视频理解领域的学术研究、数据集及相关资源。

核心研究主题

该仓库主要关注如何理解和分析持续时间较长、未经剪辑的真实世界视频，涵盖了从表示学习到具体应用任务的多个前沿研究方向。

主要研究方向

• 表示学习 (Representation Learning)：探索如何从未经剪辑的长视频中学习多粒度、层次化的视频-语言表示，为下游任务提供基础。
• 长视频高效建模 (Efficient Modeling in Long-Term Videos)：研究在长视频中进行高效处理的方法，如内存增强的视觉变换器、特征库和自适应帧采样等。
• 长视频大语言模型 (Long-Term Video Large Language Models)：汇集了针对长视频设计的各种大语言模型，例如用于超长第一人称视频推理的 Ego-R1、零样本长视频理解的 VideoINSTA 等。
• 动作定位 (Action Localization)：
  • 时序动作定位 (Temporal Action Localization)：在未剪辑视频中定位动作发生的时间区域。该部分提供了相关论文集合（如 ActionFormer、TriDet）和资源链接。
  • 音视频事件定位 (Audio-Visual Event Localization)：在未剪辑视频中对同时发生的音频和视觉事件进行定位。
• 密集视频描述 (Dense Video Captioning)：为长视频生成多句、连贯的事件描述。主要工作包括 Video ReCap、Vid2Seq 以及视频段落描述相关研究。
• 时序视频定位 (Temporal Video Grounding)：根据自然语言查询在视频中定位相应的时间片段。该部分列出了大量相关论文和综述。
• 长时视频预测 (Long-Term Video Prediction)：预测视频未来长时间序列的内容。
• 其他任务 (Other Tasks)：涵盖群组动作质量评估、时空定位、目标跟踪、视频问答和视频摘要等。

数据集与工具

该页面整理了一个长视频（未剪辑）数据集表格，部分示例如下：

数据集	来源	数量	时长	主要任务
EgoLife	日常生活	6	44.3h	理解与推理
ActivityNet 1.3	YouTube	20k	-	动作定位
MovieNet	电影	1.1k	>2h	电影理解
HowTo100M	-	1.22M/136M clips	582h	预训练

此外，还列出了 视频特征提取器 相关资源，并收录了2024年的新数据集，如 Panda-70M（70M视频配文）和 MovieLLM（AI生成的高质量长视频数据）。

搜集汇总

数据集介绍

构建方式

该数据集通过系统梳理长期视频理解领域的学术文献构建而成。研究团队从表征学习、高效建模、大语言模型应用、动作定位、密集视频描述、时序视频定位、长期视频预测等多个维度，广泛收集了来自顶级会议（如CVPR、ICCV、ECCV、NeurIPS、ICLR等）和权威期刊（如TPAMI、TCSVT等）的相关论文。同时，数据集还整合了ActivityNet、THUMOS、MovieNet、Charades等长期（未修剪）视频数据集信息，以及视频特征提取工具等资源，形成了一个全面且结构化的文献与资源索引库。

特点

该数据集具有高度的系统性与时效性，覆盖了长期视频理解领域的11个核心研究方向，包括表征学习、高效建模、视频大语言模型、时序动作定位、音视频事件定位、密集视频描述、时序视频定位、长期视频预测等。每个方向下均按时间顺序列出了具有代表性的研究工作，并特别标注了2023年后的最新进展，便于研究者追踪前沿动态。此外，数据集还提供了丰富的资源链接，包括相关的GitHub仓库、数据集页面和工具代码，形成了一个兼具文献综述与实用工具属性的综合知识库。

使用方法

研究者可通过数据集的多级分类目录快速定位感兴趣的研究方向，例如通过'Representation Learning'或'Long-Term Video Large Language Models'等章节查找具体论文。每个条目均包含论文标题、发表会议/期刊及年份信息，部分条目附有论文链接和GitHub代码仓库。此外，数据集中的'Datasets & Tools'部分提供了ActivityNet、MovieNet等长期视频数据集的详细信息，包括标注类型、数据来源、任务类型及下载链接，方便研究者直接获取实验数据与基准工具进行复现或对比研究。

背景与挑战

背景概述

长时视频理解是计算机视觉领域迈向真实世界应用的关键一步。传统视频分析多聚焦于短时片段，难以捕捉跨越数分钟乃至数小时的复杂事件与交互逻辑。为突破这一局限，该研究方向自2020年起逐渐兴起，由多所顶尖机构如Google Research、斯坦福大学、中国科学院等共同推动。其核心研究问题在于如何设计能够高效建模长时依赖、处理未裁剪视频中冗余信息，并实现诸如时序动作定位、密集视频描述、视频问答等高层语义理解任务的算法。随着大规模数据集如ActivityNet、MovieNet的发布，以及大语言模型与视频表征学习的深度融合，长时视频理解已成为连接感知与推理的桥梁，对智能监控、自动驾驶、影视分析等领域产生了深远影响。

当前挑战

长时视频理解面临的核心挑战包括：其一，时序依赖的建模难题。视频时长增加导致有效信息稀疏，需在数十万帧中捕捉关键事件，传统循环网络或3D卷积在长程依赖上存在梯度消失与计算瓶颈。其二，高效计算的矛盾。长视频需在有限资源下处理海量帧，现有方法如稀疏采样或记忆增强机制虽能缓解，但如何平衡精度与效率仍是开放问题。其三，多模态对齐的复杂性。视频中的视觉、语言、音频信号在长时间跨度内常存在语义错位，构建跨模态的细粒度对应关系极具挑战。其四，数据标注的昂贵性。密集时序标注（如动作边界、事件描述）需要大量人力，现有数据集规模有限，难以支撑复杂模型的训练与泛化。

常用场景

经典使用场景

在视频理解领域，传统研究多聚焦于短时片段或单帧分析，而现实世界中的视频往往持续时间长、未经裁剪且包含多个复杂事件。该数据集专为长时视频理解设计，其经典使用场景涵盖时序动作定位、密集视频描述、视频时序定位、未来视频预测及视频摘要等任务。例如，在时序动作定位中，模型需从未经裁剪的长视频中精确识别动作的起始与结束时间；在密集视频描述中，则要求模型能够生成覆盖整个视频事件的连贯文字叙述。这些场景突破了短时分析的局限，推动了对视频中长程语义关系的建模与理解。

解决学术问题

该数据集聚焦于解决长时视频理解中因时序跨度大、事件密集而引发的学术难题。传统方法在处理长视频时，常受限于计算资源与模型容量，难以捕捉跨帧的长期依赖关系。该数据集通过提供大规模、高标注质量的长视频资源，促进了表征学习、高效建模及多模态融合等方向的研究。例如，它推动了层级化视频-语言嵌入（如HierVL）和记忆增强型视觉变换器（如MeMViT）的发展，有效缓解了长视频中的信息遗忘与计算瓶颈问题。其意义在于为视频理解从短时分类向复杂事件推理的范式转变奠定了数据基础。

衍生相关工作

该数据集衍生了一系列经典工作，显著推动了长时视频理解领域的发展。在表征学习方面，涌现了HierVL、TAN等层级化视频-语言对齐方法；在高效建模方面，MeMViT通过记忆增强机制实现了长视频的实时处理；在大语言模型融合方面，TimeChat、MovieChat等模型将时序感知能力注入多模态大模型，实现了对小时级视频的问答与推理。此外，Vid2Seq、Video ReCap等工作统一了事件检测与密集字幕生成，拓展了视频内容生成的边界。这些工作共同构建了从数据到模型再到应用的研究生态。