haoranli-ml/genvf-filtered-proof-graded_score7_only

--- dataset_info: features: - name: index dtype: int64 - name: row_id dtype: int64 - name: problem dtype: string - name: answer dtype: 'null' - name: source list: string - name: mean_reward dtype: float64 - name: full_response dtype: string - name: full_reasoning dtype: string - name: model dtype: string - name: prefix dtype: string - name: prefix_end_index dtype: int64 - name: num_thoughts dtype: int64 - name: prefix_type dtype: string - name: prefix_type_description dtype: string - name: suffix_num list: int64 - name: suffix_model list: string - name: pending list: bool - name: pending_model list: 'null' - name: suffix_response list: string - name: suffix_summary list: string - name: self_summary list: string - name: suffix_reasoning list: string - name: finish_reason list: string - name: budget_used list: int64 - name: escalation list: int64 - name: usage list: - name: completion_tokens dtype: int64 - name: prompt_tokens dtype: int64 - name: total_tokens dtype: int64 - name: error list: 'null' - name: error_type list: 'null' - name: prefix_model dtype: string - name: gemini_summary_of_future dtype: string - name: gemini_summary_list list: string - name: prefix_steps list: string - name: suffix_variants list: - name: detailed_steps list: string - name: high_level_steps list: string - name: id dtype: int64 - name: dedup_note dtype: string - name: cross_prefix_alignment_scores list: - name: avg_alignment dtype: float64 - name: individual_scores list: - name: compared_row_id dtype: int64 - name: compared_summary_id dtype: int64 - name: direction dtype: string - name: output_text dtype: string - name: problem_index dtype: int64 - name: reasoning dtype: string - name: score dtype: float64 - name: num_comparisons dtype: int64 - name: summary_id dtype: int64 - name: filtered_suffix list: - name: detailed_steps list: string - name: high_level_steps list: string - name: id dtype: int64 - name: rubrics dtype: string - name: prefix_summary_steps dtype: string - name: filtered_suffix_summary_steps list: string - name: input_to_VF dtype: string - name: proof_scores list: - name: points dtype: int64 - name: suffix_id dtype: int64 - name: proof_details list: - name: assessment dtype: string - name: errors dtype: string - name: suffix_id dtype: int64 splits: - name: train num_bytes: 295110890 num_examples: 1079 - name: test num_bytes: 7349250 num_examples: 26 download_size: 239380691 dataset_size: 302460140 configs: - config_name: default data_files: - split: train path: data/train-* - split: test path: data/test-* ---

搜集汇总

数据集介绍

构建方式

该数据集基于GenVf框架构建，聚焦于数学推理过程的验证与评估。原始数据经筛选后，仅保留proof_score为7分及以上的高质量样本，形成本数据集。每个样本包含原始问题、推理链前缀、多个模型生成的候选后缀及其评分，并通过交叉对齐评分机制衡量不同后缀间的一致性。数据集划分为训练集（1079例）与测试集（26例），确保模型训练与评估的独立性。

特点

数据集的核心特色在于其多维度的评估体系。不仅记录了推理过程中token消耗、错误类型等元数据，还通过proof_scores字段量化每个后缀的证明质量，并附有proof_details字段提供细粒度的评估文本。此外，跨前缀对齐分数（cross_prefix_alignment_scores）实现了不同推理路径间的语义一致性度量，为研究推理多样性与正确性的关系提供了独特视角。

使用方法

本数据集适用于训练和评估数学推理验证模型。使用者可直接加载训练集与测试集，利用problem字段作为输入，结合full_response与full_reasoning字段进行监督学习。通过suffix_response及对应的proof_scores，可训练模型对推理步骤进行评分。同时，cross_prefix_alignment_scores可用于开发一致性正则化方法，提升模型生成推理链的鲁棒性。

背景与挑战

背景概述

在数学推理与自动定理证明领域，构建高质量、多步骤的推理数据集是提升大型语言模型（LLM）链式思维（CoT）能力的关键。该数据集由相关研究机构于近期创建，旨在通过精细化的评分与过滤机制，精选出推理过程完整、逻辑严谨的数学问题解答对。数据集规模涵盖1079条训练样本与26条测试样本，每条样本均包含问题陈述、分步推理、证明得分及多模型交叉对齐评分等丰富元信息。其核心研究问题聚焦于如何系统性地评估与筛选出具有高可解释性和正确性的推理链，以支持语言模型在复杂数学任务上的微调与评估。该数据集对推动可验证推理（Verifiable Reasoning）和程序化奖励模型的发展具有重要参考价值，尤其为研究链式思维过程中步骤级别的对齐与质量评估提供了标准化基准。

当前挑战

该数据集面临的核心挑战在于数学推理过程中正确性与可解释性的双重保障。首先，数学问题求解的领域问题要求模型不仅输出最终答案，更需生成逻辑连贯、无漏洞的推导步骤，这比传统自然语言生成任务更依赖严格的符号操作与事实一致性。其次，构建过程中需要解决多源推理链的自动评分难题：如何公平地比较不同模型生成的中间步骤、如何量化步骤间的逻辑对齐度、以及如何过滤掉表面正确但实际存在推理谬误的样本。数据集的评分机制依赖于跨前缀对齐分数与人工设计的评价标准（rubrics），这意味着评分器自身的准确性、对细微逻辑错误的敏感性以及跨推理链的泛化能力均构成挑战，确保筛选出的高分数样本能真正反映模型的数学推理能力而非偶然模式匹配。

常用场景

经典使用场景

在数学推理与形式验证的交汇领域，genvf-filtered-proof-graded_score7_only数据集为评估和提升大规模语言模型的逐步推理能力提供了高精度的标注基准。该数据集精选了经过严格质量筛选的数学问题求解轨迹，每个样本均包含完整的推理链、中间步骤的自我总结以及多视角对齐分数。研究者常利用此数据集训练和测试模型在复杂数学问题上的思维链生成能力，尤其关注模型能否在长程推理中保持逻辑一致性与步骤可验证性。数据集中丰富的后缀变体与评分信息，使得针对推理路径的细粒度评估成为可能，从而推动可解释人工智能与可信赖的数学自动化证明系统的发展。

解决学术问题

该数据集直面当前大型语言模型在数学推理领域面临的三大核心挑战：推理过程的不可解释性、长程推理中的错误累积以及生成步骤的验证困难。通过提供带有精确评分和结构化证明细节的推理轨迹，genvf-filtered-proof-graded_score7_only使得研究者能够定量分析模型在不同推理阶段的性能瓶颈，尤其是在代数、几何和数论等需要多步演绎的领域。它填补了高质量、细粒度数学推理评估数据的空白，使得从‘答案正确性’到‘推理过程正确性’的评价范式转变成为可能，对于构建可验证且透明的数学推理系统具有里程碑式的学术意义。

衍生相关工作

该数据集催生了一系列关于推理过程验证与优化的前沿工作。研究者基于其丰富的后缀变体与对齐分数，提出了跨推理路径的一致性评估方法，用于衡量同一问题不同解法间的逻辑结构相似性。同时，‘证明分数’与‘评分细则’字段启发了可微分验证器模型的训练，这类模型能够对生成推理步骤进行实时质量评估并提供迭代反馈。此外，数据集中的‘前缀-后缀’结构设计直接促进了思维链修剪与扩展策略的研究，相关工作探索了如何在不牺牲推理准确率的前提下，通过动态选择关键推理步骤来压缩计算成本，从而推动了高效推理框架的发展。