OpenMOSS-Team/Realtime-QA-100K

Realtime-QA-100K是一个包含10万个样本的实时视频问答数据集，基于YouTube视频构建。每个样本包含一个多模态对话和帧时间戳元数据，这些元数据将助手文本中的每个`<|video|>`令牌与一个视频帧时间戳对齐。该数据集是MOSS-Video-Preview实时训练数据的开源子集，旨在支持开源社区中实时推理模型的训练。数据集中包含93,815个英语样本和6,185个中文样本，覆盖27个类别，视频时长在4分钟以内，帧采样率为1 fps。数据集仅提供注释、YouTube视频ID和时间戳元数据，不包含实际视频文件。Realtime-QA-100K is a 100K-sample realtime video question answering dataset constructed from YouTube videos. Each sample contains a multimodal conversation and frame timestamp metadata that aligns every `<|video|>` token in the assistant text with one video frame timestamp. It is the open-source subset of the real-time training data for MOSS-Video-Preview, released to support training real-time reasoning models in the open-source community. The dataset includes 93,815 English samples and 6,185 Chinese samples, covering 27 categories, with video durations within 4 minutes and frame sampling at 1 fps. It provides annotations, YouTube video IDs, and timestamp metadata, but does not include actual video files.

搜集汇总

数据集介绍

构建方式

Realtime-QA-100K的构建遵循高度结构化的多层数据合成流水线。首先，输入层将原始视频、事件及动作层级的分层字幕进行时间对齐，形成结构化的字幕时间线。随后，阶段A——语义构建——负责识别关键转换节点，生成基于状态变化的用户指令与时序感知的回复。阶段B——时间布局——将语义决策映射到物理时间轴，通过调度时间锚点、模拟动态令牌发射率，交织<|video|>、文本及<|silence|>标记。最终输出层完成多轮对话组装，整合交错流并处理抢占场景，生成最终样本。

特点

该数据集涵盖10万条实时视频问答样本，均源自YouTube平台，涉及24,817个独立视频，时长均在4分钟内，以1帧/秒采样。包含英文与中文双语（英文93,815条，中文6,185条），覆盖27个类别。每个样本包含多模态对话及帧时间戳元数据，确保<|video|>令牌与帧时间戳严格一一对应，零失配。特殊标记<|silence|>与<|...|>分别指示沉默时刻与主动截断，支持流式对话结构。

使用方法

推荐通过HuggingFace Datasets库加载，支持完整下载与流式模式，可按语言或类别进行筛选。系统提示词单独存储于system_prompt.txt中，需手动拼接至每行消息前。视频文件需用户依据提供的video_id与frame_timestamps独立获取与对齐，YouTube URL模板为https://www.youtube.com/watch?v={video_id}。用户亦可直接读取Parquet分片文件，利用PyArrow或Pandas进行灵活的数据操作。

背景与挑战

背景概述

Realtime-QA-100K数据集由OpenMOSS团队于2026年创建，旨在推动实时视频理解与问答任务的研究。该数据集基于YouTube视频构建，包含10万条样本，每条样本均配有多模态对话及精确到秒级的帧时间戳元数据，确保每一视频标记与对应时间戳严格对齐。作为MOSS-Video-Preview模型实时训练数据的开源子集，Realtime-QA-100K填补了流式视频场景下高时效性问答数据的空白，为构建支持实时推理的多模态模型提供了关键训练与评估资源，对视频理解、人机交互及流媒体智能处理等领域具有显著影响力。

当前挑战

该数据集面临的核心挑战在于实时视频问答的领域难题：如何在不泄露未来信息的条件下，基于持续变化的视觉流进行即时响应，涉及时序建模、事件边界检测及状态依赖的语义决策。构建过程中，数据合成需处理多层次视频标注（视频级、事件级、动作级）的时空对齐，并设计无未来信息泄漏的问答逻辑；同时，需模拟动态令牌发射速率，将语义决策映射至物理时间轴，并在多轮对话中处理抢占场景，确保标记与时间戳的精确匹配，如10万条样本中零对齐失败的严格验证所体现的技术难度。

常用场景

经典使用场景

在视频理解领域，传统的视觉问答数据集往往聚焦于离线剪辑后的完整视频，忽视了实时流媒体场景下的动态交互需求。Realtime-QA-100K 作为首个大规模实时视频问答数据集，其核心设计理念在于模拟智能体在视频流播放过程中实时接收帧信息并做出即时响应的能力。该数据集包含十万条精心构造的多轮对话样本，每条样本中的每一帧均对应一个时间戳，确保模型在回答问题时能够精确感知当前视觉上下文。这一特性使其成为训练具备流式推理能力的多模态大语言模型的首选基准，特别适用于评估模型在视频内容持续变化条件下的理解延迟与应答准确性。

实际应用

在工业应用层面，Realtime-QA-100K 所支撑的技术路线直接服务于需要低延迟视频理解的真实场景，例如在线教育中的实时答疑系统、直播电商中的智能商品解说、安防监控领域的异常事件即时检测，以及自动驾驶场景中的环境语义解析。由于数据集样本来源于涵盖27个类别的YouTube视频，从天文探索到日常生活、从自然灾害到医疗展示，其多样性为跨领域部署提供了坚实的泛化基础。特别值得注意的是，数据集中包含了中英文双语样本，进一步拓宽了面向全球用户的多语言实时视频交互系统的落地可行性。

衍生相关工作

该数据集作为 MOSS-Video-Preview 项目的重要组成部分，其发布直接催生了一系列围绕实时视频推理的衍生研究工作。基于其独特的流式对话结构，研究者得以开发出时间感知的多模态注意力对齐方法，探索了帧级令牌与文本生成之间的动态映射关系。数据集中定义的‘沉默令牌’与‘截断令牌’已成为后续流式视频理解模型的标准组件，启发了一系列关于实时推理中时间预算分配与响应调度策略的理论分析。此外，该数据集的构建管线所采用的多层语义与时间布局合成方法，也为自动生成大规模、高保真实时视频问答数据提供了可复现的工程范式。