lean-verifier-formalizations

该数据集名为“Lean Verifier Formalizations”，是一组用于评估智能体编码框架的Lean 4定理证明任务。数据集中的每个样本包含一个形式化的任务陈述（task_statement），其中移除了参考证明；同时提供了非正式描述（informal_excerpt）和源文本（informal_source_text），用以说明该定理的声明内容；还包括允许验证器使用的公理（permitted_axioms）以及溯源字段（repo_url、repo_commit_sha、license），以追溯至原始项目。所有样本均来自真实、有许可的Lean 4项目，包括Mathlib相关研究仓库、奥林匹克形式化项目以及个人贡献者项目。许可证方面，源代码部分（如header、formal_statement、reference_proof）遵循每个样本所在原始仓库的许可证（MIT或Apache-2.0），并记录在每行的license列中；而策展内容（如informal_excerpt、informal_source_text、task_statement的框架以及评判分数）则采用CC-BY-4.0许可证发布。The dataset named "Lean Verifier Formalizations" is a collection of Lean 4 theorem proving tasks designed to evaluate agentic coding frameworks. Each sample in the dataset contains a formal task statement (task_statement) with its reference proof removed; it also provides an informal excerpt (informal_excerpt) and an informal source text (informal_source_text) to explain the theorems statement, along with permitted axioms (permitted_axioms) for the verifier, and provenance fields (repo_url, repo_commit_sha, license) to trace back to the original project. All samples come from real, licensed Lean 4 projects, including Mathlib-related research repositories, olympiad formalization projects, and individual contributor projects. Regarding licensing, the source code parts (e.g., header, formal_statement, reference_proof) follow the license of each samples original repository (MIT or Apache-2.0), recorded in the license column per row; while the curated content (e.g., informal_excerpt, informal_source_text, the framework of task_statement, and evaluation scores) is released under the CC-BY-4.0 license.

原始信息汇总

Lean Verifier Formalizations 数据集概述

数据集简介

该数据集包含Lean 4定理证明任务，用于评估智能体编码框架的性能。每一行数据将一个正式的task_statement（已移除参考证明体）与真实的Lean 4代码仓库配对，并附带描述定理含义的informal_excerpt/informal_source_text、供验证器使用的permitted_axioms以及溯源字段（repo_url、repo_commit_sha、license）。

数据来源

每一行数据均来自真实的、持有许可的Lean 4项目，涵盖以下类型：

• Mathlib相关的研究仓库
• 奥林匹克竞赛形式化项目
• 个人贡献者项目

完整的数据集源仓库列表见 sources.md。

任务类型

• 任务类别：文本生成（text-generation）

标签

• lean4
• theorem-proving（定理证明）
• formal-verification（形式化验证）
• mathlib

许可协议

数据集涉及两种许可范围：

源代码（header、formal_statement、reference_proof）

• 每行数据携带其源仓库的原始许可证（MIT或Apache-2.0）
• 具体许可在每行数据的license列中记录

精选内容（informal_excerpt、informal_source_text、task_statement框架、评判分数）

• 依据 CC-BY-4.0 发布

搜集汇总

数据集介绍

构建方式

该数据集的构建根植于形式化数学与自动定理证明的交叉领域，从真实且具有开源许可的Lean 4项目中抽取定理证明任务。每一行数据均源自Mathlib相关研究仓库、奥林匹克数学形式化项目及独立贡献者项目，通过剥离参考证明体形成形式化任务陈述，同时保留非形式化摘录与来源文本，并记录验证器允许的公理集合及仓库URL、提交哈希和许可证等溯源信息。来源仓库的完整清单列于sources.md，确保数据可追溯且符合原始许可要求。

特点

数据集聚焦于评估智能体编码框架在Lean 4定理证明中的表现，其核心特征在于形式化与非形式化描述的对齐，以及严格的许可分层：源代码部分遵循MIT或Apache-2.0，而整理内容如非形式化摘录、任务陈述框架及评判分数则采用CC-BY-4.0。每项任务均附带允许公理和溯源字段，增强了验证的透明性与可复现性，适用于定理证明、形式验证及文本生成等任务场景。

使用方法

使用该数据集时，研究者可借助task_statement作为形式化证明目标，配合informal_excerpt与informal_source_text理解定理的数学含义，并利用permitted_axioms约束验证环境。溯源字段支持定位原始仓库与提交版本，便于复现或扩展。该数据集适用于训练或评估基于Lean 4的定理证明智能体，也可用于形式化验证流程的基准测试，使用时应遵守各行列出的许可证条款，区分源代码与整理内容的不同授权范围。

背景与挑战

背景概述

随着形式化数学与自动定理证明的迅猛发展，Lean 4 及其数学库 Mathlib 已成为验证数学命题与程序正确性的关键基础设施。lean-verifier-formalizations 数据集正是在此背景下应运而生，其汇聚了源自真实 Lean 4 研究项目、奥林匹克数学形式化工作及个人贡献者仓库的定理证明任务，旨在系统评估智能编码框架在形式化验证场景中的表现。该数据集通过剥离参考证明正文、保留任务陈述与自然语言描述，构建了兼具挑战性与实用性的基准，为定理证明代理的推理能力提供了可追溯、可复现的测试平台，对推动形式化验证与自动推理的交叉研究具有显著影响力。

当前挑战

在所解决的领域问题上，该数据集直面形式化定理证明中自动推理与代码生成模型协同工作的核心难题：模型需在缺乏完整证明正文的条件下，仅依据形式化任务陈述与自然语言释义，生成可通过 Lean 4 验证器检查的证明代码，这对模型的数学直觉、策略选择与语法精确性提出了严苛要求。构建过程中亦面临多重挑战，包括从多样化的许可协议下筛选并清洗真实项目数据、确保任务陈述与参考证明的语义对齐、维护跨仓库提交版本的可追溯性，以及为验证器合理配置可允许公理集，从而在保证数据真实性的同时，维持评估的公平性与可复现性。

常用场景

经典使用场景

在形式化数学与自动定理证明领域，Lean 4 已成为推动机器辅助证明发展的核心工具。lean-verifier-formalizations 数据集最经典的使用场景，在于为评估智能体编码框架提供标准化的定理证明任务。每一条数据将形式化的 task_statement 与真实的 Lean 4 仓库配对，同时附有描述定理内容的非形式化文本、验证器允许的公理集合以及可追溯至源项目的来源信息。研究者可借此构建端到端的评测流程，让语言模型或智能体在真实代码库环境下生成证明体，并交由 Lean 验证器严格检查其正确性，从而系统性地衡量模型在形式化推理任务上的能力边界。

实际应用

在实际应用层面，lean-verifier-formalizations 为多种现实场景提供了基础设施。教育科技领域可借助其构建自动化的数学证明辅导系统，让学生在 Lean 4 环境中提交证明并获得即时反馈；软件验证团队可利用该数据集训练和测试智能体，辅助生成或补全关键安全属性的形式化证明；开源社区则能以此评估贡献者提交的证明片段是否满足项目既定的公理约束。此外，该数据集对许可证和来源的细致记录，使得工业界在采用相关模型或工具时能够进行合规性审查，降低了将形式化验证技术落地于生产环境的法律与技术风险。

衍生相关工作

围绕该数据集已衍生出若干经典工作方向。一方面，研究者基于其真实仓库与任务陈述的配对结构，开发了面向 Lean 4 的检索增强证明生成方法，通过检索相似定理的参考证明来提升智能体的证明成功率。另一方面，该数据集催生了针对公理许可与证明合法性的细粒度评测协议，推动了验证器接口的标准化。在竞赛形式化与数学研究社区中，亦有工作利用其来源追溯字段构建证明谱系图谱，分析不同项目间的定理复用与演化关系。这些衍生工作共同拓展了形式化验证与神经符号推理交叉领域的研究版图。