DopeorNope/FFT-naive-50k-minif2f

---
dataset_info:
features:
- name: model
dtype: large_string
- name: dataset
dtype: large_string
- name: split
dtype: large_string
- name: name
dtype: large_string
- name: decl_name_used
dtype: large_string
- name: sample_idx
dtype: int64
- name: temperature
dtype: float64
- name: top_p
dtype: float64
- name: top_k
dtype: int64
- name: max_tokens
dtype: int64
- name: enable_thinking
dtype: int64
- name: strip_comment_markers
dtype: int64
- name: prompt_user
dtype: large_string
- name: informal
dtype: large_string
- name: ref_formal_statement
dtype: large_string
- name: gen_raw
dtype: large_string
- name: gen_lean4
dtype: large_string
- name: gen_lean_file
dtype: large_string
splits:
- name: train
num_bytes: 690698
num_examples: 244
download_size: 226895
dataset_size: 690698
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

搜集汇总

数据集介绍

构建方式

FFT-naive-50k-minif2f数据集基于minif2f基准库构建，通过将形式化数学问题转化为领域特定语言（DSL）描述，利用大语言模型进行生成式采样构建而成。数据集中每个样本包含原始命题、非形式化描述、参考形式化陈述及模型生成的多轮推理与验证结果，字段涵盖模型标识、采样参数（如温度、top_p、top_k）以及是否启用思维链标记等配置信息。

特点

该数据集的核心特点在于其多维度的采样参数记录与形式化验证的完整性。每条数据不仅携带了模型生成时的超参数配置（如温度、top_p、top_k），还保留了原始非形式化表述与参考形式化陈述的对照关系。特别地，生成结果被细分为原始输出、Lean 4代码及完整证明文件，为评估语言模型在数学形式化推理中的表现提供了细粒度分析基础。

使用方法

研究者可通过HuggingFace Datasets库加载该数据集，利用'split'字段筛选训练集（共244个样本）。建议使用时重点分析'gen_lean4'与'ref_formal_statement'字段的差异，结合'sample_idx'与采样参数进行消融实验。数据集适用于微调数学推理模型、对比不同解码策略对形式化证明质量的影响，以及作为强化学习中奖励模型的数据源。

背景与挑战

背景概述

FFT-naive-50k-minif2f数据集是数学定理证明与深度学习交叉领域的一项关键资源，由研究机构在探索神经定理证明器性能过程中创建，旨在解决形式化数学证明的自动生成问题。该数据集以迷你版形式化数学库minif2f为基础，通过大语言模型采样得到约5万条朴素尝试的证明轨迹，每条样本记录了从非正式陈述到Lean 4形式化代码的完整生成过程，涵盖了模型输出、采样参数及引用声明等元信息。作为连接非正式数学语言与严格形式化验证的桥梁，该数据集为评估和改进基于大语言模型的定理证明策略提供了标准化的训练与测试基准，推动了神经符号方法在数学推理领域的应用进展。

当前挑战

该数据集面临的核心领域挑战在于形式化定理证明的高度复杂性，即如何让神经网络模型准确理解非正式数学描述，并生成符合严格语法与逻辑约束的Lean 4代码。具体而言，数据构建过程中需要解决采样策略带来的低效问题：朴素采样产生的5万条轨迹中，仅有244条被纳入训练集，表明多数自动生成证明存在逻辑断裂或语法错误。此外，数据稀疏性导致模型难以学习高难定理的证明模式，而采样参数（温度、top_p等）的敏感性使得生成质量的稳定性成为瓶颈。如何从海量失败证明中提炼有效学习信号，以及如何扩展数据规模至更具挑战性的数学库，是该数据集当前面临的重要障碍。

常用场景

经典使用场景

FFT-naive-50k-minif2f数据集专为数学定理的自动化证明而设计，尤其聚焦于快速傅里叶变换（FFT）相关定理的形式化验证。该数据集通过构造大量基于Lean4证明助手的交互式证明样本，为训练神经定理证明器提供了高质量的监督学习素材。其典型使用场景是作为神经网络模型与形式化证明系统之间的桥梁，研究者可以借助该数据集训练模型生成符合语法规范的Lean4代码，从而在minif2f基准测试中自动完成FFT相关命题的证明。这一过程充分体现了深度学习与形式化方法在数学推理任务中的深度融合。

实际应用

在实际应用中，该数据集可被用于开发能够辅助数学家完成形式化验证的智能工具。例如，当数学家尝试在Lean4中编码某个FFT相关引理时，基于本数据集训练的模型能够实时推荐可能的证明步骤或补全残缺的证明代码。此外，教育科技领域可借助该数据集构建自适应学习系统，自动生成适合学生水平的FFT证明练习并评估其正确性。在工业级形式化验证场景中，如加密协议或信号处理算法的正确性检查，该数据集训练的模型能加速关键数学命题的机器验证流程，显著降低人工校对成本。

衍生相关工作

围绕FFT-naive-50k-minif2f数据集，研究者已探索出多项衍生工作。一类工作聚焦于证明策略的搜索优化，利用该数据集训练的策略模型在minif2f测试集上成功证明了多项此前未解决的FFT相关定理。另一类工作则将该数据集作为预训练语料，微调大语言模型以理解数学符号与证明树结构，进而提出可迁移至群论或数论等其他数学分支的通用证明框架。此外，该数据集也被用于对比不同证明搜索算法（如蒙特卡洛树搜索与束搜索）在形式化环境下的效率，催生了若干针对神经定理证明器评估标准的新讨论。