haoranli-ml/genvf-filtered-proof-graded_score7_only_test

--- dataset_info: features: - name: index dtype: int64 - name: row_id dtype: int64 - name: problem dtype: string - name: answer dtype: 'null' - name: source list: string - name: mean_reward dtype: float64 - name: full_response dtype: string - name: full_reasoning dtype: string - name: model dtype: string - name: prefix dtype: string - name: prefix_end_index dtype: int64 - name: num_thoughts dtype: int64 - name: prefix_type dtype: string - name: prefix_type_description dtype: string - name: suffix_num list: int64 - name: suffix_model list: string - name: pending list: bool - name: pending_model list: 'null' - name: suffix_response list: string - name: suffix_summary list: string - name: self_summary list: string - name: suffix_reasoning list: 'null' - name: finish_reason list: string - name: budget_used list: int64 - name: escalation list: int64 - name: usage list: - name: completion_tokens dtype: int64 - name: prompt_tokens dtype: int64 - name: total_tokens dtype: int64 - name: error list: 'null' - name: error_type list: 'null' - name: prefix_model dtype: string - name: gemini_summary_of_future dtype: string - name: gemini_summary_list list: string - name: prefix_steps list: string - name: suffix_variants list: - name: detailed_steps list: string - name: high_level_steps list: string - name: id dtype: int64 - name: dedup_note dtype: string - name: cross_prefix_alignment_scores list: - name: avg_alignment dtype: float64 - name: individual_scores list: - name: compared_row_id dtype: int64 - name: compared_summary_id dtype: int64 - name: direction dtype: string - name: output_text dtype: string - name: problem_index dtype: int64 - name: reasoning dtype: string - name: score dtype: float64 - name: num_comparisons dtype: int64 - name: summary_id dtype: int64 - name: filtered_suffix list: - name: detailed_steps list: string - name: high_level_steps list: string - name: id dtype: int64 - name: rubrics dtype: string - name: prefix_summary_steps dtype: string - name: filtered_suffix_summary_steps list: string - name: input_to_VF dtype: string - name: proof_scores list: - name: points dtype: int64 - name: suffix_id dtype: int64 - name: proof_details list: - name: assessment dtype: string - name: errors dtype: string - name: suffix_id dtype: int64 splits: - name: train num_bytes: 7349052 num_examples: 26 download_size: 5859927 dataset_size: 7349052 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集信息： 特征： - 名称：索引，数据类型：64位整数 - 名称：行ID，数据类型：64位整数 - 名称：问题，数据类型：字符串 - 名称：答案，数据类型：空类型 - 名称：来源，数据类型：字符串列表 - 名称：平均奖励，数据类型：64位浮点数 - 名称：完整响应，数据类型：字符串 - 名称：完整推理过程，数据类型：字符串 - 名称：模型，数据类型：字符串 - 名称：前缀，数据类型：字符串 - 名称：前缀结束索引，数据类型：64位整数 - 名称：思维数量，数据类型：64位整数 - 名称：前缀类型，数据类型：字符串 - 名称：前缀类型描述，数据类型：字符串 - 名称：后缀数量，数据类型：64位整数列表 - 名称：后缀模型，数据类型：字符串列表 - 名称：待处理状态，数据类型：布尔值列表 - 名称：待处理模型，数据类型：空列表 - 名称：后缀响应，数据类型：字符串列表 - 名称：后缀摘要，数据类型：字符串列表 - 名称：自我摘要，数据类型：字符串列表 - 名称：后缀推理过程，数据类型：空列表 - 名称：终止原因，数据类型：字符串列表 - 名称：已使用预算，数据类型：64位整数列表 - 名称：升级次数，数据类型：64位整数列表 - 名称：用量： - 名称：补全令牌数，数据类型：64位整数 - 名称：提示令牌数，数据类型：64位整数 - 名称：总令牌数，数据类型：64位整数 - 名称：错误信息，数据类型：空列表 - 名称：错误类型，数据类型：空列表 - 名称：前缀模型，数据类型：字符串 - 名称：Gemini未来摘要，数据类型：字符串 - 名称：Gemini摘要列表，数据类型：字符串列表 - 名称：前缀步骤，数据类型：字符串列表 - 名称：后缀变体： - 名称：详细步骤，数据类型：字符串列表 - 名称：高层步骤，数据类型：字符串列表 - 名称：ID，数据类型：64位整数 - 名称：去重备注，数据类型：字符串 - 名称：跨前缀对齐分数： - 名称：平均对齐度，数据类型：64位浮点数 - 名称：单项分数： - 名称：对比行ID，数据类型：64位整数 - 名称：对比摘要ID，数据类型：64位整数 - 名称：方向，数据类型：字符串 - 名称：输出文本，数据类型：字符串 - 名称：问题索引，数据类型：64位整数 - 名称：推理过程，数据类型：字符串 - 名称：分数，数据类型：64位浮点数 - 名称：对比次数，数据类型：64位整数 - 名称：摘要ID，数据类型：64位整数 - 名称：过滤后后缀： - 名称：详细步骤，数据类型：字符串列表 - 名称：高层步骤，数据类型：字符串列表 - 名称：ID，数据类型：64位整数 - 名称：评分标准，数据类型：字符串 - 名称：前缀摘要步骤，数据类型：字符串 - 名称：过滤后后缀摘要步骤，数据类型：字符串列表 - 名称：VF输入，数据类型：字符串 - 名称：证明分数： - 名称：得分点数，数据类型：64位整数 - 名称：后缀ID，数据类型：64位整数 - 名称：证明详情： - 名称：评估结果，数据类型：字符串 - 名称：错误信息，数据类型：字符串 - 名称：后缀ID，数据类型：64位整数 拆分： - 名称：训练集，字节大小：7349052，示例数量：26 下载大小：5859927 数据集总大小：7349052 配置： - 配置名称：默认配置，数据文件： - 拆分：训练集，路径：data/train-*

搜集汇总

数据集介绍

构建方式

该数据集源自对数学推理任务中模型生成轨迹的精细筛选与过滤，聚焦于高可靠性证明路径的收集。构建过程首先从大规模模型响应池中提取包含完整推理链的样本，继而引入基于评分机制的自动验证系统，对每个后缀推理步骤进行逐级评分，仅保留得分达到7分及以上的高质量轨迹。进一步地，通过跨前缀对齐评分与去重处理，确保数据集中每个问题对应的推理路径具备一致性与多样性，最终形成了包含26条精选样本的小规模但高精度的测试集。

特点

数据集的核心特色在于其多维度的结构化信息与严格的质控标准。每条数据不仅包含原始问题与模型的完整响应，还详尽记录了推理步骤、前缀类型、后缀变体及对应的评分矩阵，形成了从初始提示到最终答案的完整可追溯路径。特别是proof_scores与proof_details字段，提供了基于点数的细粒度评估与错误分析，使得数据集能够在微观层面揭示模型推理的薄弱环节。此外，数据集中整合了来自不同模型的对比信息与对齐分数，为研究模型间推理策略的差异提供了独特视角。

使用方法

使用方法上，该数据集主要面向数学推理验证与模型评估场景。研究人员可直接利用problem字段作为输入，结合full_reasoning或suffix_response中的推理链进行复现与分析。proof_scores字段可作为客观基准，用于比较不同模型在相同问题上的推理质量；而cross_prefix_alignment_scores则支持跨模型推理路径的一致性研究。鉴于数据集规模较小且结构复杂，推荐采用深度学习框架的DataLoader进行加载，并利用pandas对嵌套的列表与字典字段进行扁平化处理，以适配下游分析与可视化需求。

背景与挑战

背景概述

该数据集源于数学推理与证明自动化领域的前沿探索，由研究团队针对大规模语言模型在复杂数学问题求解中的推理能力验证而精心构建。创建于近期，核心研究焦点在于评估与提升模型生成数学证明的逻辑严谨性与步骤完整性。通过对模型输出的多维度评分、步骤对齐以及跨前缀一致性分析，该数据集为理解模型推理过程中的潜在缺陷与优势提供了精细化视角。其影响力体现在为数学推理基准测试提供了高筛选标准的测试样本，推动了模型在形式化证明任务上的可解释性研究。

当前挑战

数据集面临的核心领域挑战在于数学证明的非确定性本质：同一命题存在多种等价证明路径，而当前模型生成的证明常隐含逻辑跳跃或步骤冗余，如何设计评分机制以客观衡量证明的完整性与正确性成为难题。构建过程中，挑战尤为突出：需协调多模型生成差异、处理跨模型步骤对齐的模糊性、确保评分标准在不同证明变体间的鲁棒性，以及过滤低质量或语义冲突的推理链。此外，仅保留评分高于7的样本虽提升了数据质量，却可能引入选择偏差，限制了对模型失败模式的全面表征。

常用场景

经典使用场景

该数据集专注于数学推理与证明生成的质量评估，特别适用于检验大语言模型在生成严格数学证明时的表现。经典使用场景包括利用该数据集训练模型以区分高质量与低质量的证明步骤，或通过评分机制优化模型的推理链。研究者可将数据集中包含的完整推理过程、评分及对齐分数作为监督信号，引导模型生成逻辑缜密、符合数学规范的证明。此外，数据集的前缀-后缀结构为研究局部推理与全局证明一致性提供了独特的实验平台。

衍生相关工作

基于该数据集的特征设计，衍生了一系列经典工作，包括利用跨前缀对齐分数进行多步推理的一致性验证方法，以及通过过滤后缀机制筛选高质量证明样本的自蒸馏框架。此外，研究者基于评分数据提出了可学习的奖励模型，用于引导大模型在推理过程中自主修正错误。另有一部分工作借鉴其前缀-后缀结构，在数学定理证明任务中探索了局部到整体的推理聚合策略，显著提升了复杂定理的证明成功率。

数据集最近研究

最新研究方向

在当前大语言模型推理能力评估的前沿探索中，GenVf-Filtered-Proof-Graded-Score7-Only-Test数据集为数学证明与多步推理任务的质量验证提供了关键基准。该数据集聚焦于通过细粒度评分（score≥7）筛选出的高质量证明样本，结合前缀-后缀对齐架构与交叉一致性评分机制，推动了模型在复杂逻辑链条下的自我纠错与归纳总结能力研究。近期热点围绕利用此类结构化证明数据集进行强化学习奖励建模、思维链（Chain-of-Thought）的可解释性优化，以及多模型协同生成的鲁棒性验证展开，其意义在于为构建可追溯、可评估的推理智能体提供了标准化测试平台，深刻影响了数学自动化证明与教育智能系统的发展方向。