internlm/CapRL-Video-QA-20K

CapRL-Video-QA-20K.jsonl是一个用于视频问答的数据集，作为CapRL++项目的一部分，旨在支持基于强化学习的视频描述生成任务。该数据集包含20,000个条目，每个条目指定了视频文件的相对路径，这些路径基于Hugging Face数据集lmms-lab/LLaVA-Video-178K的根目录。视频来源包括YouTube视频和学术视频（如Charades、NextQA、activitynet等），存储为压缩归档文件。数据集主要用于训练和评估CapRL-Video-4B模型，通过提供视频路径和问答对，帮助模型学习生成密集、时间戳标注的视频描述，以提升视频理解能力。数据集需要从指定源下载并按照特定目录结构组织，以确保路径正确性。CapRL-Video-QA-20K.jsonl is a video question answering (VideoQA) dataset as part of the CapRL++ project, designed to support reinforcement learning-based video caption generation tasks. This dataset contains 20,000 entries, each specifying the relative path to a video file, with all paths based on the root directory of the Hugging Face dataset lmms-lab/LLaVA-Video-178K. The video sources cover YouTube videos and academic video datasets such as Charades, NextQA, ActivityNet, etc., and the videos are stored as compressed archives. The dataset is primarily intended for training and evaluating the CapRL-Video-4B model: by providing video paths and question-answer pairs, it helps the model learn to generate dense, timestamp-annotated video captions to enhance video understanding capabilities. The dataset needs to be downloaded from the specified source and organized following a specific directory structure to ensure correct path validity.

搜集汇总

数据集介绍

构建方式

CapRL-Video-QA-20K 数据集是 CapRL++ 框架中用于视频密集描述强化学习训练的核心组成部分。该数据集通过从 LLaVA-Video-178K 数据集中精心筛选出约两万个视频片段，并为其构建了多项选择题形式的问答对。具体构建流程首先利用 Qwen2.5-VL-72B 这类高性能视觉语言模型为每个视频自动生成多个问答对，随后通过格式匹配进行提取。为确保数据质量，使用 Qwen2.5-VL-3B 模型分别在提供视频与不提供视频的情况下回答问题，并依据答案正确性进行严格筛选：保留视觉准确率高于 0.75 且仅文本准确率低于 0.25 的样本，从而有效避免数据泄漏并保证问答任务确实依赖视频内容。每个视频对应的相对路径均指向 LLaVA-Video-178K 数据集根目录下的子文件夹，主要涵盖来自 YouTube 和学术来源的短片段。

特点

该数据集最显著的特征在于其独特的奖励驱动设计理念，并非依赖固定参考描述来评判视频描述质量，而是通过下游视觉问答任务的完成情况作为可验证的奖励信号。这种以效用为导向的机制能够激励模型生成信息密度高、时间定位准确且结构清晰的描述文本。数据集中的每个样本都包含原始视频路径与精心构造的多项选择题，这些题目经过双重验证筛选，确保其能够有效区分基于视觉理解与语言先验的答案。视频来源的多样性涵盖了日常生活场景、学术活动、体育赛事等多种领域，使得训练出的模型具备良好的泛化能力。同时，数据集的构建方式天然支持时间戳格式奖励与长度感知惩罚的引入，为训练兼具时空感知与简洁性的密集视频描述模型提供了坚实基础。

使用方法

使用 CapRL-Video-QA-20K 数据集进行训练时，首先需要从 HuggingFace 的 LLaVA-Video-178K 仓库下载对应视频压缩包并解压至指定目录结构，确保视频路径与 JSONL 文件中的相对路径能够正确拼接。训练脚本集成于 CapRL++ 工程中的 CapRL++/train 目录下，基于 verl 后端实现视频描述强化学习流程。在实际训练中，需要启动奖励服务（reward server）来实时计算生成描述的视觉效用奖励、时间戳格式奖励与长度感知惩罚的加权总和。推理阶段则可通过加载训练好的 CapRL-Video-4B 模型，并使用“Please describe this video in detail.”等提示词，利用 Qwen3-VL 的推理接口或提供的 Prism 评估脚本生成带时间戳的密集视频描述。

背景与挑战

背景概述

CapRL-Video-QA-20K是由Long Xing、Xiaoyi Dong、Yuhang Zang等研究人员于2026年创建的多选题视频问答数据集，隶属于CapRL++系列。该数据集旨在为基于强化学习的密集视频描述模型提供可验证的奖励信号，通过衡量描述对下游问答任务的实用价值来优化模型性能，其核心研究问题在于如何将静态图像的密集描述能力扩展到动态视频场景。作为CapRL++框架的关键组成部分，该数据集与CapRL-Video-178K等资源共同推动了视频理解领域的发展，在ICLR 2026发表的相关工作已获得广泛关注，展现了强化学习在视觉描述任务中的巨大潜力。

当前挑战

CapRL-Video-QA-20K所解决的领域挑战在于：传统视频描述方法通常依赖单一参考描述进行监督，难以捕捉视频中丰富的时序动态和空间细节，而该数据集通过设计视觉效用奖励、时间戳格式奖励和长度感知惩罚的多维奖励机制，引导模型生成密集、具有时序结构且信息高效的描述。在构建过程中，面临的挑战包括：从大规模原始视频库中筛选出适用于奖励训练的高质量QA数据，需确保问题视觉相关性强且非文本泄露；同时需要处理视频数据分散于多个压缩归档、路径映射复杂等工程难题，以保证数据集的可用性和可复现性。

常用场景

经典使用场景

在视频密集描述生成的前沿探索中，CapRL-Video-QA-20K 被设计为 CapRL++ 强化学习训练框架的核心奖励信号来源。该数据集以多项选择问答的形式，精妙地度量自动生成视频描述的实用性：一句描述的质量高低，取决于一个纯文本模型仅凭该描述能否准确回答关于视频内容的视觉问题。这种设计使得模型能够在强化学习过程中，不再依赖人工标注的参考描述作为标准答案，而是通过下游任务效用驱动自身优化，从而学会生成结构化、包含时间戳且信息稠密的视频叙述。

实际应用

在现实应用中，CapRL-Video-QA-20K 所催生的密集时间戳描述模型展现出广泛潜力。在视频监控场景中，模型可自动生成带有精确时间轴的场景叙述，辅助安全人员快速回溯关键事件；在影视后期制作中，智能生成带有时间码的镜头描述，大幅提升素材检索与剪辑效率；在自动驾驶领域，对行车记录视频生成时序化场景报告，支持驾驶行为分析与事故归因。此外，该数据集还能赋能无障碍技术，为视觉障碍用户实时生成视频内容的详细语音解说，显著改善信息获取的公平性与可及性。

衍生相关工作

围绕 CapRL-Video-QA-20K 数据集，衍生了一系列具有里程碑意义的研究工作。其所属的 CapRL++ 工作率先提出了统一图像与视频密集描述的强化学习框架，并发布了基于 Qwen3-VL-4B 的 CapRL-Video-4B 模型。在此基础上，研究团队相继推出了参数更小但性能更强的 CapRL-Qwen3VL-2B 与 CapRL-Qwen3VL-4B 模型，以及用于图像描述的 CapRL-Qwen2.5VL-3B 和 CapRL-InternVL3.5-8B。这些工作共同构成了一套从数据构建、奖励设计到模型训练与评估的完整方法论体系，并且 CapRL-Video-178K 数据集正是 CapRL-Video-4B 对 LLaVA-Video-178K 重新标注的产物，进一步印证了该数据集的衍生价值。