internlm/CapRL-Video-178K

CapRL-Video-178K数据集是基于LLaVA-Video-178K视频数据集，通过CapRL-Video-4B模型重新标注生成的密集时间戳视频描述数据集。它包含178K个视频样本，每个视频都附有详细的、带有时间戳的文本描述，旨在提升视频理解和下游任务（如视觉问答）的性能。数据集分为多个子集，包括来自学术和YouTube来源的不同时长视频（如0-30秒、30-60秒、1-2分钟、2-3分钟），总计约178,000个样本。

The CapRL-Video-178K dataset is a recaptioned version of the LLaVA-Video-178K video dataset, generated using the CapRL-Video-4B model to produce dense, timestamped video descriptions. It contains 178K video samples, each accompanied by detailed textual descriptions with timestamps, designed to enhance video understanding and downstream tasks such as visual question answering. The dataset is divided into multiple subsets, including videos from academic and YouTube sources with varying durations (e.g., 0-30 seconds, 30-60 seconds, 1-2 minutes, 2-3 minutes), totaling approximately 178,000 samples.

搜集汇总

数据集介绍

构建方式

CapRL-Video-178K数据集是CapRL++系列中用于视频密集描述的重要资源，其构建源自对LLaVA-Video-178K中原始视频内容的重标注过程。具体而言，研究团队利用经过强化学习训练的CapRL-Video-4B模型，为每一段视频重新生成了带有时间戳的密集描述文本，从而替代了原始数据集中可能存在的稀疏或单一视角的标注。该数据集涵盖了来自YouTube与学术来源的多种时长片段，包括0-30秒、30-60秒、1-2分钟及2-3分钟等不同时间跨度，共计约17.8万个视频样本。所有视频文件以压缩包形式分布在HuggingFace平台对应的文件夹中，用户需通过相关命令行工具统一下载并解压至指定目录结构，方能配合标注文件使用。

特点

CapRL-Video-178K的核心特色在于其描述文本的高度密集性与时间结构化能力。每一段描述不仅细致捕捉了视频中的空间细节、物体属性、OCR文本及人物交互关系，更通过显式的时间戳括号与有序的时间叙述，精准刻画了事件的时间演化与动态变化。这种标注方式使得数据在信息的丰富度与时间对齐的精确性之间取得了良好平衡。同时，数据集采用了基于下游视觉问答任务效用的验证性奖励机制进行优化，确保描述不仅准确详尽，且具有良好的信息密度，避免了冗余或过于冗长的表达。该数据集因此成为训练和评估视频理解模型，尤其是强化学习驱动的密集描述模型的理想基准资源。

使用方法

使用CapRL-Video-178K数据集时，用户需首先从HuggingFace下载相应的LLaVA-Video-178K视频压缩包，并根据README中提供的目录结构进行解压与组织。随后，通过读取提供的CapRL-Video-178K.jsonl标注文件，即可将视频路径与描述文本配对，用于模型训练或评估。在代码实现中，用户可利用Pathlib库将数据集根目录与标注文件中的相对路径拼接，以获取完整的视频文件访问路径。该数据集主要用于CapRL-Video-4B等模型的微调与推理，典型的视频描述提示词为“Please describe this video in detail.”，并可配合Prism评测脚本或Qwen3-VL的视频推理接口进行调用。

背景与挑战

背景概述

CapRL-Video-178K数据集由上海人工智能实验室（InternLM团队）于2026年5月发布，主要研究人员包括龙星、董潇逸、臧宇恒等，旨在推动密集视频描述生成任务的发展。该数据集基于LLaVA-Video-178K的原始视频，利用CapRL-Video-4B模型重新生成带有时间戳的详细描述，共包含约17.8万个视频样本，涵盖YouTube和学术来源，视频时长从0-30秒到2-3分钟不等。作为CapRL++框架的核心数据资源，它通过强化学习中的可验证奖励机制，将静态图像中的密集描述扩展到动态视频领域，显著提升了多模态大模型对视频中时空细节的捕捉与表达能力。该数据集在ICLR 2026上被接收，对视频理解、事件定位和多模态推理等研究方向产生了重要影响。

当前挑战

CapRL-Video-178K数据集所应对的核心挑战在于传统视频描述方法难以生成兼具时空精度和信息密度的描述。具体而言：1)现有数据集和模型多依赖单参考描述进行监督学习，无法可靠地评估描述对下游视觉问答任务的真实效用，导致描述往往泛化性不足且缺乏时间结构化。2)视频数据本身的多模态复杂性要求描述不仅覆盖空间细节（如物体属性、OCR内容、关系），还需按时间顺序组织事件，这对模型的长时序建模能力提出高要求。3)在数据集构建中，如何从海量未标注视频中筛选出高质量样本，并通过强化学习训练使模型避免奖励黑客（如生成冗长重复描述）的同时保持信息效率，是工程与算法层面的双重挑战。

常用场景

经典使用场景

在视频理解与密集字幕生成的研究领域，CapRL-Video-178K数据集扮演着不可或缺的角色。该数据集的核心应用场景在于为基于强化学习的视频密集描述模型提供高质量的重新标注数据。具体而言，研究人员利用CapRL-Video-4B模型，对原始的LLaVA-Video-178K数据集中的视频进行了全面的重新字幕化处理，生成了富含时间戳标记、事件时序清晰且空间细节丰富的结构化描述文本。这些描述不仅涵盖了视频中细粒度的对象属性与交互关系，还精确捕捉了事件在时间轴上的演变动向，因此特别适用于训练和评估那些旨在生成详尽、具备时间感知能力的视频描述模型。通过使用本数据集，研究者能够在统一的视频理解基准上，对比不同模型在事件定位、动作描述与场景理解方面的表现，推动视频密集描述技术从简单单句标注迈向结构化的时序叙事。

衍生相关工作

CapRL-Video-178K数据集的影响并非孤立存在，它直接催生并支撑了一系列前沿学术工作。该数据集是由CapRL++框架的核心产出，而CapRL++本身作为从静态图像到动态视频的统一强化学习字幕范式，开创性地提出了基于可验证奖励的视频密集描述方法。围绕此数据集，研究者们进一步开发了CapRL-Video-4B模型，该模型以Qwen3-VL为骨干，借助S2D-Boot两阶段训练策略，显著增强了视频描述的时间定位能力。此外，该数据集还与CapRL-Video-QA-20K等配套数据集协同使用，推动了使用纯文本大模型对视频描述进行客观评估的新评价体系成型。这些衍生工作共同构筑了一个从模型训练、数据集制造到标准评测的完整闭环，深刻重塑了视频理解领域的研究生态，启发了更多将强化学习与可验证奖励应用于多模态叙事生成的探索。

数据集最近研究

最新研究方向

CapRL系列数据集的发布标志着密集图像与视频描述领域正从传统的监督式模仿学习范式，迈向基于强化学习的可验证奖励驱动新阶段。其前沿研究核心在于利用下游视觉问答的准确性作为奖励信号，以优化描述模型，使得小参数模型在感知精准度和信息覆盖率上可媲美甚至超越超大模型。特别是CapRL++框架，通过统一图像与视频的描述策略，引入时间戳格式奖励和长度感知正则化，摒弃了对单一参考文本的依赖，有效解决了视频描述中的时序对齐和冗余问题。该方案不仅提升了模型对图表、文档等复杂场景的细粒度理解能力，还通过静态到动态的两阶段训练策略（S2D-Boot），极大地增强了时空描述的结构化与信息密度。这一研究趋势不仅推动了多模态大模型在自动化标注和内容理解上的能力边界，也为构建更高质量、更具实用价值的视觉语言数据集提供了革命性的方法论支撑，其影响已延伸至下游视频理解、人机交互等多个热点应用场景。