fineproofs-prm-context-v2-cot-pbudget-xprob

FineProofs PRM Context v2: Cot Pbudget Xprob 是一个用于过程奖励模型（Process Reward Model）训练与评估的数据集，属于 FineProofs 项目的一部分。该数据集采用 cot_pbudget 上下文模式，从 cross_problem 的 rollout 中构建，并使用 middle_truncated_reasoning_equal_share 打包策略。它是九个行匹配的上下文变体之一，所有变体共享相同的行键、标签、奖励值、训练/验证问题划分以及硬端点覆盖。数据集中 partial-prefix 和 complete-response 目标均基于规范化标准积分（由 clamped points 除以 max points 得到），而 correct 列仅作为 legacy 布尔投影（当 reward >= 0.5 时标记为正确），实际训练使用稠密的 reward 目标。数据集包含训练集和验证集：训练集有 53,457 行，涵盖 2,542 个问题；验证集有 2,602 行，涵盖 128 个问题。数据文件格式为 Parquet，并附带 provenance 和验证文件（dataset_provenance.json、verification.json、_SUCCESS.json）以确保数据来源和完整性。该数据集适用于定理证明中的过程奖励模型训练，特别是用于评估中间推理步骤的奖励信号。FineProofs PRM Context v2: Cot Pbudget Xprob is a dataset for training and evaluating Process Reward Model (PRM), part of the FineProofs project. It uses the cot_pbudget context mode, constructed from cross_problem rollouts with middle_truncated_reasoning_equal_share packing strategy. It is one of nine row-matched context variants, all sharing the same row keys, labels, reward values, train/validation problem splits, and hard endpoint coverage. The partial-prefix and complete-response targets are based on normalized standard scores (clamped points divided by max points), while the correct column is a legacy boolean projection (correct when reward >= 0.5). Actual training uses the dense reward target. The dataset includes training set (53,457 rows, 2,542 problems) and validation set (2,602 rows, 128 problems). Data format is Parquet, with provenance and verification files (dataset_provenance.json, verification.json, _SUCCESS.json) ensuring data source and integrity. This dataset is suitable for training process reward models in theorem proving, especially for evaluating reward signals of intermediate reasoning steps.

原始信息汇总

FineProofs PRM Context v2: Cot Pbudget Xprob 数据集概述

基本信息

• 数据集名称: FineProofs PRM Context v2 - Cot Pbudget Xprob
• 任务类别: 文本分类（text-classification）
• 标签: 过程奖励模型（process-reward-model）、定理证明（theorem-proving）、FineProofs
• 数据文件格式: Parquet

数据构成

• 训练集: 53,457 行，覆盖 2,542 个问题
• 验证集: 2,602 行，覆盖 128 个问题
• 数据划分: 留出问题在划分和上下文选择之前被移除

数据生成背景

• 运行ID: fineproofs_all_qwen35_9b_direct2phase_m32_20260730
• 采集模型: Qwen/Qwen3.5-9B
• 模型修订版本: c202236235762e1c871ad0ccb60c8ee5ba337b9a
• 上下文臂: cot_pbudget_xprob
• 上下文模式: cot_pbudget
• 上下文范围: cross_problem
• 上下文中的正确性标签: 否
• 验证SHA-256: c5a3b92bd6196d4a33cded2c1a01870d1963d323351d573b369b7f97f3b7f648

数据特点

• 上下文类型为 cot_pbudget，来自 cross_problem 的 rollout，采用 middle_truncated_reasoning_equal_share 打包策略。
• 部分前缀和完整响应的目标均使用规范化 Rubric 信用（由钳制分数除以最大分数得出）。
• correct 列是仅基于 reward >= 0.5 的旧版布尔投影；训练使用密集的 reward 作为目标。
• 该数据集是九个行匹配的上下文变体之一，基于已验证的 FineProofs rollout 集合构建。
• 九个变体具有相同的行键、标签、奖励、训练/验证问题划分和硬端点覆盖。

附带文件

本地 val.parquet 以 validation.parquet 形式发布。dataset_provenance.json、verification.json 和 _SUCCESS.json 包含实时输入的来源信息、跨臂检查和精确的已发布文件指纹。

搜集汇总

数据集介绍

构建方式

该数据集源自FineProofs验证的滚动收集体系，由Qwen3.5-9B模型在特定修订版本下生成，采用cot_pbudget上下文模式与跨问题（cross_problem）的滚动策略。构建过程中，通过中截断推理与等额分配的打包策略，形成九种行匹配的上下文变体之一。训练与验证集的划分确保未见问题在分割前被移除，并保持行键、标签及奖励的一致性。部分前缀与完整响应均采用规范化奖励积分，即截断分数除以最大分数，作为密集训练目标。

特点

数据集的显著特征在于其精细的上下文变体设计，每个变体共享相同的行键与奖励，但上下文注入方式各异，旨在支持过程奖励模型的对比研究。训练集包含53,457行，对应2,542个问题，验证集2,602行、128个问题，确保了充分的数据规模。此外，数据提供哈希校验与验证元数据，增强了可靠性与可复现性。correct字段作为传统布尔投影，而训练实际使用密集reward目标，兼顾了历史兼容与精细化优化。

使用方法

该数据集适用于文本分类任务，尤其针对定理证明中的过程奖励建模。使用者可直接加载train.parquet与validation.parquet文件，以reward列作为回归或排序目标进行模型训练。数据中correct列可作为辅助的二元分类标签，但建议优先采用密集奖励。由于集内已包含训练/验证分割，基准测试时可沿用官方划分。需注意，部分前缀与完整响应均需利用提供的规范化奖励进行学习，以捕捉推理过程的细粒度质量差异。

背景与挑战

背景概述

FineProofs PRM Context v2 - Cot Pbudget Xprob 数据集由 FineProofs 团队于 2025 年创建，旨在推动自动定理证明中过程奖励模型（PRM）的发展。该数据集基于 Qwen/Qwen3.5-9B 模型生成的 rollout 数据，采用交叉问题（cross_problem）的上下文模式，并利用中间截断推理与均等共享的打包策略。其核心研究问题是提升 PRM 对证明过程细粒度评估的能力，通过提供密集的奖励信号替代传统的二元正确性标签。该数据集包含约 5.6 万条训练样本，覆盖 2670 个问题，并通过严格的验证流程确保数据质量。其发布对形式化数学推理和 AI 辅助证明领域具有重要影响，为后续过程监督模型的训练与评估提供了标准化基准。

当前挑战

该数据集面临的挑战主要集中在两个方面。领域层面，自动定理证明中的过程奖励模型需要精准评估每一步推理的正确性，而现有方法多依赖稀疏的最终结果标签，难以捕获中间步骤的细微错误。FineProofs 通过引入密集奖励和规范化评分机制应对此问题，但如何平衡局部与全局推理质量仍是难点。构建层面，数据收集涉及大规模模型 rollout，需处理上下文变体的一致性、验证哈希的完整性以及跨臂数据的行匹配。此外，训练/验证划分需确保问题分离，避免数据泄漏，同时保持硬端点覆盖的均衡性，这些均对数据工程的严谨性提出极高要求。

常用场景

经典使用场景

在形式化数学与自动定理证明的交叉领域，过程奖励模型（PRM）的构建与评估已成为一项核心任务。该数据集专为过程监督学习设计，其经典使用场景在于训练能够逐步评估证明步骤正确性的神经模型。通过提供具有密集奖励标注的中间推理轨迹，研究者可在此数据上微调语言模型，使其具备细粒度的反馈能力，从而引导证明搜索过程趋向更可靠的路径。这种基于过程奖励的范式，相较于仅依赖最终结果的结局监督，能够更有效地应对长链条推理中的稀疏奖励问题，是推动神经定理证明器迈向实用化的重要基石。

解决学术问题

该数据集直面自动定理证明中奖励信号稀疏与信用分配困难的长期难题。在传统强化学习框架下，模型仅能从最终定理证明的成功与否中获得单一强化信号，难以定位推理过程中的错误步骤。本数据集通过规范化评分和密集奖励目标，为每一步推理提供连续的质量评估，使模型能够辨别部分正确的中间状态，从而支持过程级梯度更新。这一设计显著改善了信用分配效率，为研究如何在大规模搜索空间中引导模型学习复杂数学策略提供了标准化的训练与验证基准，对提升证明搜索的样本效率和泛化能力具有重要意义。

衍生相关工作

此数据集衍生出的经典工作聚焦于过程奖励建模的精细化与可迁移性研究。一方面，研究者基于该数据集的密集奖励标注，发展出多种强化学习算法，例如将过程奖励与策略梯度相结合的混合训练框架，或利用过程值函数引导的树搜索策略，这些工作在MiniF2F及类似基准上取得了显著性能提升。另一方面，该数据集的九种上下文变体催生了关于上下文质量对奖励模型影响的研究，如通过比较不同前缀截断策略，揭示了中间推理长度与奖励预测精度间的权衡关系。这些衍生的学术探索，不仅深化了对过程监督机制的理解，也为构建更稳健的数学推理系统提供了新的方法学工具。