OPERA数据集

OPERA数据集是由香港理工大学、美团龙猫团队等机构联合构建的大规模推理轨迹数据集，旨在为开放域任务提供高质量的强化学习训练数据。该数据集包含20,000条经过精心筛选的推理轨迹，每条轨迹通过困惑度引导的迭代合成方法生成，确保逻辑一致性和统计稳定性。数据创建过程采用认知制动机制和困惑度优先展开技术，模拟人类反思性推理模式，最终形成结构化推理链。该数据集主要应用于开放域创造性写作、逻辑推理等任务，旨在解决传统基于LLM评判的奖励模型存在的风格偏见和位置不一致性问题，为强化学习提供更客观的内在奖励信号。The OPERA dataset is a large-scale reasoning trajectory dataset jointly constructed by institutions including The Hong Kong Polytechnic University and Meituan Longmao Team, aiming to provide high-quality reinforcement learning training data for open-domain tasks. This dataset contains 20,000 carefully screened reasoning trajectories, each generated via a perplexity-guided iterative synthesis method to ensure logical consistency and statistical stability. The data creation process adopts a cognitive braking mechanism and perplexity-first unfolding technology to simulate human reflective reasoning patterns, ultimately forming structured reasoning chains. This dataset is mainly applied to tasks such as open-domain creative writing and logical reasoning, aiming to address the issues of style bias and position inconsistency in traditional reward models evaluated by LLMs, and provide more objective intrinsic reward signals for reinforcement learning.

原始信息汇总

数据集概述：OPERA

• 核心内容：OPERA 是一个支持冷启动数据生成和强化学习训练循环的资料库。

• 主要组件：

  • 冷启动 SFT 数据生成：通过 sft_data_sync/reer_tot_parallel_ppl.py 脚本实现，采用并行处理策略生成冷启动的监督微调数据。
  • 强化学习训练：主入口脚本为 verl/sh_rethinking_grpo.sh，基于 VeRL 框架并使用群组相对策略优化进行优化。
  • 模型检查点转换：verl/all2hf.sh 脚本用于将训练后的强化学习模型检查点转换为标准 Hugging Face 格式，便于评估和部署。

• 注意事项：资料库中不包含标准评估和基准测试代码，以保持匿名性和仓库整洁。用户需从相应的官方仓库下载并直接运行这些代码。

搜集汇总

数据集介绍

构建方式

OPERA数据集的构建源自于一种新颖的冷启动有监督微调策略，旨在为开放领域任务中的强化学习提供稳定的初始化。其核心为一种基于困惑度引导的迭代轨迹合成方法。该方法首先引入认知制动机制，当模型在生成过程中产出预设的反思标记（如“wait”、“but”）时，系统会中断当前轨迹，促使模型重新审视中间推理。随后，采用困惑度优先的展开策略，在每次反思节点处并行生成多个候选步骤，并基于模型内部的对数概率，自动选择困惑度最低、逻辑一致性最强的分支。这一递归过程最终生成了20,000条高质量、包含显式自我修正结构的推理轨迹，为后续强化学习训练奠定了坚实基础。

特点

该数据集最显著的特征在于其内部驱动的客观性。与传统依赖外部大语言模型作为评审的构建方式不同，OPERA数据集完全基于模型自身的困惑度动态作为质量代理，从根本上避免了外部评估者的风格偏见与位置不一致性。数据集中的每条轨迹都天然嵌入了显式的反思标记（如“let me think”、“but”），这些标记作为认知冲突的指示器，确保了数据集中包含结构化的自我修正模式。此外，通过困惑度优先的节点选择，数据集在保持高逻辑一致性的同时，也具备了对长程推理不确定性的鲁棒性，能够在超长生成任务中维持稳定的置信度，弥合了高级意图与细粒度逻辑执行之间的鸿沟。

使用方法

该数据集主要作为冷启动阶段的有监督微调数据使用。在使用时，研究人员可以直接将数据集中的20,000条推理轨迹作为训练样本，通过标准的有监督微调协议对基础语言模型进行初始化训练，使其学习到含有反思结构的推理范式。训练完成后，该模型可作为强化学习阶段的策略初始点。在随后的强化学习过程中，结合论文提出的混合奖励函数（包含自反思奖励与组内相对困惑度奖励），模型能够进一步在动态探索中优化其推理路径，从而在创意写作等开放领域任务中实现与先进专有模型相媲美的性能。

背景与挑战

背景概述

OPERA数据集由美团Longcat团队联合香港理工大学、北京大学、西安交通大学及南京理工大学的研究人员于2026年创建，旨在解决大语言模型在开放域任务中的强化学习对齐难题。核心研究问题在于，传统基于LLM裁判的奖励模型在创意写作等开放式任务中普遍存在风格偏好偏差与位置不一致性，导致监督信号不稳定。为此，研究者提出基于客观困惑度动态的内在奖励机制，取代不可靠的外部评估者。该数据集包含20,000条高质量推理轨迹，通过精心设计的引导词与困惑度优先的展开策略生成，为模型冷启动阶段的监督微调提供了结构化反思数据。其影响力体现在，基于OPERA方法训练的开源模型Qwen3-8B在多项创意写作基准上达到甚至超越了GPT-4o、Gemini2.5等闭源模型，为开放域强化学习提供了可扩展的客观优化目标。

当前挑战

该数据集面临的挑战首先体现在领域核心问题上：开放域任务缺乏可验证的客观标准，传统LLM裁判存在自我增强偏差与位置偏差，难以提供稳定可靠的奖励信号。构建过程中面临的关键挑战包括：第一，如何在不依赖外部评估者的条件下设计有效的内在奖励函数，使模型能够区分有意义的反思步骤与普通的文本生成；第二，冷启动阶段的数据合成需在认知中断时保持推理轨迹的逻辑连贯性，避免引入噪声与发散路径；第三，奖励黑客问题需要被妥善应对，模型可能通过生成长度过长但语义冗余的推理链来获取虚高奖励；第四，需在分组相对困惑度奖励与自反思奖励之间取得平衡，确保模型既优化最终输出的整体质量，又鼓励高效的结构化自我修正行为。

常用场景

经典使用场景

OPERA数据集的核心价值在于为开放域生成任务提供高质量的推理轨迹。在创意写作、诗歌创作、虚构故事生成等场景中，该数据集通过精心设计的引导词和基于困惑度的迭代合成方法，生成了20,000条包含自反思标记（如“wait”、“but”）的结构化推理路径。这些轨迹不仅记录了模型从初始构思到最终输出的完整认知过程，还捕捉了中间阶段的自我修正与策略调整。研究人员利用该数据集进行监督微调，作为强化学习的冷启动基础，显著提升模型在非客观任务中的推理连贯性与逻辑一致性。

解决学术问题

该数据集有效解决了开放域强化学习中缺乏客观奖励信号的核心难题。传统方法依赖大语言模型作为裁判，易引入风格偏好和位置偏见等主观干扰，导致训练不稳定。OPERA数据集通过内在困惑度动态构建奖励机制，将模型的内部逻辑一致性而非外部评判作为优化目标。实验证明，基于该数据集的OPERA框架在多个创意写作基准上取得了突破性进展，Llama3.1-8B模型平均性能提升125%，在WritingBench上获得22.54分的增长。这为开放端生成任务提供了一种可扩展、鲁棒的对齐方法论。

衍生相关工作

OPERA数据集的发布催生了一系列重要的后续研究工作。受其启发，研究人员探索了基于内在奖励的强化学习方法在更多非确定性任务中的应用，例如开放域问答和多轮对话对齐。该数据集提供的结构化推理轨迹为后续的冷启动策略研究奠定了基准，推动了如Writing-Zero和DeepWriter等工作的进展，这些工作进一步拓展了自纠正推理在创意生成中的边界。此外，该数据集的合成方法也被借鉴到其他领域，促使了基于困惑度引导的迭代搜索策略在更通用推理任务中的推广。