Reflect-R1-CoT-90k, Reflect-R1-RL-30k

该数据集由Reflect-R1-CoT-90k和Reflect-R1-RL-30k两部分构成，总计12万条样本，旨在填补长视频理解中多模态反思训练数据的空白。其内容涵盖丰富的视频问答对，通过系统化构建过程整合了视觉证据检索与推理链条，为模型提供了客观外部验证的基础。数据集主要应用于强化学习驱动的多阶段自我纠正框架训练，致力于解决传统内部闭环反思中因缺乏外部证据而导致的幻觉循环与错误修正失效问题。This dataset comprises two subsets: Reflect-R1-CoT-90k and Reflect-R1-RL-30k, with a total of 120,000 samples. It aims to fill the gap in multimodal reflection training data for long-form video understanding. The dataset contains abundant video question-answer pairs, which integrate visual evidence retrieval and reasoning chains through a systematic construction process, providing a foundation for objective external validation of models. It is primarily applied to train reinforcement learning-driven multi-stage self-correction frameworks, addressing the issues of hallucination cycles and failed error correction in traditional internal closed-loop reflection caused by the lack of external evidence.

原始信息汇总

数据集概述

数据集名称: Reflect-R1 训练数据
发布机构: Hugging Face，由 CSDDSFSFSAFSAF 维护
访问地址: 🤗 数据集链接

数据集构成

数据集包含以下文件，用于支持 Reflect-R1 模型的冷启动监督微调（SFT）和强化学习（SD-GRPO）训练：

文件名	描述	用途
reflect_r1_cot_90k.jsonl	Reflect-R1-CoT-90k 冷启动 SFT 数据	教会模型结构化反思格式
reflect_r1_rl_30k_short.json	Reflect-R1-RL-30k 短视频部分	SD-GRPO 强化学习训练
reflect_r1_rl_30k_long.json	Reflect-R1-RL-30k 长视频部分	SD-GRPO 强化学习训练
archives/short.tar.zst	短视频视频文件（压缩包，解压后置于 short/ 目录）	视频数据源
archives/long.tar.zst	长视频视频文件（压缩包，解压后置于 long/ 目录）	视频数据源

数据特点

• 任务场景: 长视频理解中的基于证据驱动的自我纠正。
• 训练阶段:
  • 冷启动 SFT：使用 reflect_r1_cot_90k.jsonl 进行监督微调，使模型学习结构化反思格式。
  • 阶段一 SD-GRPO（仲裁预热）：使用 RL 数据（短/长视频 JSON）进行仲裁能力热身。
  • 阶段二 SD-GRPO（全链优化）：在阶段一基础上进行完整推理链优化。
• 推理流程: 将自我纠正分解为直觉（Intuition）、验证（Verification）和仲裁（Arbitration）三个阶段，通过检索时间视觉证据来辅助纠正。

使用方式

1. 下载数据集： bash hf download CSDDSFSFSAFSAF/Reflect-R1-data --repo-type dataset --local-dir /path/to/Reflect-R1-data

2. 解压视频文件： bash cd /path/to/Reflect-R1-data tar -I zstd -xf archives/short.tar.zst tar -I zstd -xf archives/long.tar.zst

3. 环境变量设置（例如在训练脚本中）：

   • SHORT_VIDEO_DIR: 短视频目录路径
   • LONG_VIDEO_DIR: 长视频目录路径
   • SFT_DATA_JSONL: 冷启动 SFT JSONL 文件路径
   • GRPO_SHORT_JSON: 短视频 RL JSON 文件路径
   • GRPO_LONG_JSON: 长视频 RL JSON 文件路径

参考与说明

• 论文: 📄 arXiv 2606.27922
• 模型权重: 🤗 模型链接
• 代码仓库: 💻 GitHub 仓库
• 许可协议: Apache 2.0

更多训练细节（如奖励函数定义、本地路径准备）可参阅代码仓库中的 docs/training.md 文档。

搜集汇总

数据集介绍

构建方式

在长视频理解领域，现有模型依赖内部参数进行闭环反思，常因缺乏客观外部证据而陷入盲目自信。为突破这一局限，Reflect-R1框架创新性地构建了直觉、验证与仲裁三阶段流水线。数据集构建方面，从LLaVA-Video-178K、Panda-70M、NExT-QA等六个公开数据集中聚合视频与问答对，利用Qwen2.5-VL-72B模型合成符合三阶段推理流程的思维链数据，经规则筛选后形成Reflect-R1-CoT-90k用于监督微调冷启动。随后，借助GPT-4o从其中精选出30,000个高难度样本，构建Reflect-R1-RL-30k用于强化学习训练，彻底弥合了多模态反思训练数据极度匮乏的鸿沟。

特点

Reflect-R1数据集的核心特点在于其开创性的证据驱动自纠错范式，从根本上打破了传统闭环反思的幻觉循环。该数据集通过三阶段解耦设计，迫使模型在直觉阶段生成初始答案并主动检索关键帧作为外部视觉证据；在验证阶段，模型被严格限制仅依赖检索帧进行独立盲验，确保评估基于客观证据并与全局视频信息隔离；在仲裁阶段，模型通过综合主观直觉与客观验证结果，并在证据不足时自主调用时间搜索工具，直至捕获确凿依据。此外，该数据集配套的SD-GRPO算法实现了阶段解耦的强化学习，通过独立计算各阶段优势函数，有效防止了多阶段推理中的策略耦合现象。

使用方法

使用Reflect-R1数据集时，研究者需遵循两阶段训练范式。首先，利用Reflect-R1-CoT-90k对基础视觉语言模型进行监督微调，使模型习得结构化的三阶段推理格式与基础反思范式，完成冷启动。随后，基于Reflect-R1-RL-30k数据集，采用提出的SD-GRPO算法进行强化学习后训练，以解锁深度推理能力。在推理阶段，模型需依次执行直觉、盲验与仲裁三阶段推理，每阶段均需调用特定工具（如帧检索、时间搜索）以获取外部证据，并严格遵循阶段隔离原则。最终输出需基于仲裁阶段对前两阶段结论的冲突消解与主动调查结果，从而实现严格基于客观证据的可靠自纠错。

背景与挑战

背景概述

在长视频理解这一关键的人工智能应用场景中，多模态大语言模型虽已取得长足进步，但其自我纠错能力仍受限于闭循环内省范式——模型仅依赖内部参数进行自我审视，极易陷入盲信并放大初始幻觉。针对这一困境，清华大学、南洋理工大学等机构的研究人员于2025年提出了Reflect-R1数据集（含Reflect-R1-CoT-90k与Reflect-R1-RL-30k两部分），旨在推动基于外部客观证据的自我修正机制。该数据集围绕“直觉-验证-仲裁”三级流水线设计，通过动态检索关键帧作为视觉锚点，彻底打破幻觉循环，在VideoMME、LongVideoBench等基准上取得了领先性能，为多模态推理中的可信自我纠错研究奠定了重要数据基础。

当前挑战

该研究面临的核心挑战来自两方面。其一，领域问题层面，现有闭循环自省机制因缺乏客观外部证据，模型在长视频高密度信息流中难以辨别错误，反而会强化初始幻觉，导致修正后的准确率不升反降（如Qwen2.5-VL-7B在LongVideoBench上下降6.63%）。其二，数据集构建过程中，多阶段推理管线（直觉、验证、仲裁）在强化学习优化时遭遇严重的策略耦合——模型倾向于在仲裁阶段简单复制直觉阶段的答案以快速获取基础奖励，而非学习真正的纠错逻辑。此外，专用于多模态自省的高质量训练数据极度稀缺，进一步阻碍了深层自我修正能力的涌现。

常用场景

经典使用场景

在长视频理解领域，Reflect-R1-CoT-90k与Reflect-R1-RL-30k数据集被广泛用于训练多模态大语言模型的自我纠错与反思能力。经典使用场景包括模型在观看长视频后回答复杂时序问题，通过直觉、验证与仲裁三阶段推理，主动检索关键帧作为外部视觉证据，打破传统闭循环反思中的幻觉陷阱，实现基于客观证据的真实自我纠正。

衍生相关工作

该数据集衍生了一系列经典工作，包括用于激励多模态推理的Vision-R1与VL-Rethinker模型，以及专注于视频时序搜索的TimeSearch-R与T*框架。这些工作进一步探索了反思机制在视频问答与时间定位任务中的泛化能力，推动形成了以证据驱动、解耦训练为核心的多模态自我纠正研究路线，为长视频智能分析奠定了坚实的数据与方法基础。

数据集最近研究

最新研究方向

在长视频理解领域，现有的大规模多模态模型普遍陷入内部闭环反思的困境，缺乏客观外部证据的锚定，导致模型在自我纠错时极易被幻觉误导，甚至出现正确答案被错误推翻的性能退化现象。针对这一瓶颈，Reflect-R1 创新性地提出了证据驱动的三阶段自纠错框架，通过将推理过程显式解耦为直觉、验证与仲裁，并引入动态工具调用机制，使模型能够自主检索关键视觉帧并依据客观证据进行修正。结合阶段解耦的强化学习算法 SD-GRPO，该研究有效解决了多阶段推理中常见的策略耦合问题，并构建了 120K 规模的专用训练数据集以填补数据空白。在 VideoMME、LongVideoBench 等主流基准上的实验表明，该方法不仅显著提升了推理准确率，更实现了严格基于客观证据的真正自我纠错，为多模态推理的可靠部署开辟了全新路径。

相关研究论文

• Reflect-R1: Evidence-Driven Reflection for Self-Correction in Long Video Understanding

  清华大学; 广东人工智能与数字经济实验室（深圳）; 南洋理工大学; 中国科学技术大学; 深圳大学; 加州大学; 上海交通大学 · 2026年