finance-pro-bench

FinancePro-Bench是一个包含400个复杂专家级金融问题的基准测试数据集。这些问题需要深入的金融知识，并涉及法规、法律、战略、数学和代码生成等多个领域。它模拟了金融专家在实际工作中所需的细致、情境特定、多步骤推理过程，例如审查会计判断、构建交易结构、定价衍生品、处理税务和合规边缘案例等。每个问题都附带一个详细的、基于点的评分标准，用于对自由文本答案进行可重复的、基于标准的评分，评分标准主要基于推理过程、步骤以及模型处理矛盾信息的能力。问题包含推理和回答所需的所有信息，排除了大型语言模型的检索能力，专注于纯推理。数据集涵盖33个金融领域，采用test分划，包含在单个JSONL文件中。数据生成过程采用递归自我改进方法，通过多次批判和重写确保场景内部一致且推理路径明确。该数据集适用于评估大型语言模型在复杂金融推理任务上的性能，特别是对需要跨领域整合和情境分析的高级专业任务的评估。

FinancePro-Bench is a benchmark dataset containing 400 complex expert-level financial questions. These questions require deep financial knowledge and span multiple domains such as regulations, law, strategy, mathematics, and code generation. It simulates the detailed, context-specific, multi-step reasoning processes needed by financial experts in real-world tasks, such as reviewing accounting judgments, structuring transactions, pricing derivatives, and handling tax and compliance edge cases. Each question comes with a detailed, point-based scoring rubric for repeatable, standards-based evaluation of free-text answers, with the rubric largely based on reasoning processes, steps, and the models ability to handle contradictory information. The questions include all necessary information for reasoning and answering, excluding the retrieval capabilities of LLMs to focus solely on pure reasoning. The dataset covers 33 financial domains, uses a test split, and is contained in a single JSONL file. The data generation process employs a recursive self-improvement method, involving multiple rounds of critique and rewriting to ensure internal consistency and clear reasoning paths. It is suitable for evaluating the performance of large language models on complex financial reasoning tasks, particularly for advanced professional tasks requiring cross-domain integration and contextual analysis.

原始信息汇总

数据集概述：FinancePro-Bench

FinancePro-Bench 是一个面向金融领域的高难度基准测试数据集，旨在评估大语言模型在复杂金融推理任务上的表现。

核心特点

• 规模与构成：包含 400 道专家级金融问题，覆盖 33 个金融子领域。
• 难度定位：问题不仅需要深厚的金融知识，还涉及法规、法律、策略、数学和代码生成等跨领域推理，模拟高级金融专业人员在处理会计判断、交易结构设计、衍生品定价、税务合规等场景中所需的复杂、多步骤推理。
• 评估方式：每道题配备一个详细的、基于要点的 评分标准（Rubric），支持对自由文本答案进行可复现的、标准驱动的评分。评分标准包含得分项、陷阱惩罚和洞察奖励，侧重评估模型的推理过程、步骤和跨矛盾推理能力。
• 评估重点：本基准测试排除了 LLM 的检索能力，专注于纯粹的推理能力。

数据集摘要

项目	描述
问题数量	400 道专家级金融问题
领域类别	33 个金融领域
评分方式	基于要点的评分标准，包含陷阱惩罚和洞察奖励
数据划分	test（全部数据用于评估）
领先模型	SanscriticFinance — 88.4%（对比 Claude Opus 4.7 的 65.8% 和 GPT 5.5 的 61.5%）

问题示例

每道题呈现一个基于现实金融的复杂虚构场景。典型问题包含：

• 多方叙述：包含特定实体、角色、所有权结构和合同安排。
• 编号子问题：通常有 2-3 个部分，需要进行不同但相关的分析。
• 附件：提供表格、法规摘录、通信和财务数据，解答所需信息全部嵌入在问题中。
• 惯例说明：指定适用的框架、报告日期和明确假设。

评分标准示例

每道题的评分标准包含：

• 评分项：每个必要分析有分层积分（0 / 部分 / 满分），满分要求引用具体标准、逐步展示计算过程并展示结构理解。
• 陷阱惩罚：对常见错误或捷径进行扣分，例如未展示必要调整就报告数字、误用安全港测试等。
• 洞察奖励：对于识别干扰项、引用跨框架段落或展示超越问题要求的综合能力，给予少量加分。
• 最高分：每个评分标准定义最高分（通常 80-100 分），并指定评分的输出格式。

生成过程

该数据集使用 递归自我改进 方法生成。每个候选问题都会被反复批判和重写，以消除内部不一致性，直至场景内部连贯并支持唯一可辩护的专业推理路径。同时，评分标准也会被强化，以确保评分明确且可复现。

模型性能

在整体性能上，SanscriticFinance 以 88.4% 的准确率大幅领先于其他前沿模型：

模型	准确率
SanscriticFinance	88.4%
Claude Opus 4.7 (Adaptive)	65.8%
GPT 5.5 (high)	61.5%
Qwen 3.6 Max Preview	54.4%
Gemini 3.1 Pro Preview	44.6%
DeepSeek V4 Pro	38.2%

在 33 个类别中，SanscriticFinance 在所有领域均处于领先地位，包括最难的多框架类别。

数据集配置与文件

• 配置名称: default
• 数据文件: data/finance_pro_bench.jsonl
• 数据划分: test

（注：本数据集文件位于 Hugging Face 仓库 Sanscritic/finance-pro-bench 的 data/ 目录下，完整的绝对地址为：https://huggingface.co/datasets/Sanscritic/finance-pro-bench/resolve/main/data/finance_pro_bench.jsonl）

搜集汇总

数据集介绍

构建方式

FinancePro-Bench数据集的构建过程采用了递归自我改进的生成策略。每个候选问题都经历反复的批评与重写循环，在此过程中系统性地消除内部矛盾，包括不一致的事实陈述、定义模糊的假设、歧义数值以及潜在的无意捷径，直至构建出一个内部自洽、仅允许单一合理推理路径的复杂金融场景。同时，伴随每个问题的详细评分细则也在相同的迭代循环中得到强化，确保评分标准的无歧义性与可复现性，从而为评估提供严谨而一致的标准。

特点

该数据集的核心特点在于其高度专业与跨领域的复杂性。包含400道专家级金融问题，横跨33个金融子领域，但答案所需知识深度远超金融本身，融合了法规、法律、战略、数学与代码生成等多学科维度。每道题均构建于包含多主体叙事、编号子问题与数据展品的虚拟场景之上，模拟资深金融从业者的真实推理流程。独特的基于细则的评分体系，通过分层评分项、陷阱惩罚与洞察奖励，精准衡量推理过程的严谨性而非简单答案正确性。

使用方法

本数据集专用于评估大语言模型在无外部检索支持下的纯推理能力。使用时，将测试集（共400题）以JSONL格式加载，每条数据包含完整的场景描述、子问题与所需展品信息。评估者需按照每道题附带的详细评分细则，对模型的自由文本回答进行逐项打分，计算总分。细则明确规定了各评分项的得分层级、陷阱扣分规则与洞察加分上限，要求评估者引用模型回答中的具体证据进行评分，确保结果的可重复性与公平性。

背景与挑战

背景概述

FinancePro-Bench是由Sanscritic团队于近年构建的专家级金融推理基准数据集，旨在填补现有金融评估基准在复杂、跨领域、多步推理方面的显著空白。该数据集包含400道高难度金融问题，涵盖会计、法律、税务、衍生品、私募股权等33个金融子领域，每道题均附有详细的、基于评分细则的评判标准。其核心研究问题在于测试大语言模型在情境依赖、角色特定的金融推理能力，以模拟顶尖金融专业人士（如信用分析师、并购银行家）在现实工作中所需的缜密分析与跨域整合能力。该基准的诞生对金融科技和通用人工智能领域具有深远影响，因为它将评估焦点从简单的信息提取或算术计算提升至需要深度领域知识与逻辑推理的专家级层面，推动了LLM在高度专业化领域应用的发展。

当前挑战

FinancePro-Bench所解决的领域挑战在于，现有的金融基准（如FinanceBench、FinQA）多侧重于从固定文本中提取简短答案或单一算术计算，无法评测模型在复杂、多实体场景中整合多个框架、解析结构化附件并跨越矛盾进行推理的能力。金融领域的正确性高度依赖于上下文和角色分工，例如同一笔交易的信用评估与并购分析面临截然不同的风险考量。在数据集构建过程中，团队面临的最大挑战在于确保每个虚构场景的内部一致性与唯一性，通过递归自我改进循环反复批判与重写，消除内部矛盾、模糊假设与无意捷径，同时构建难以被模式匹配或统计捷径所利用的评分细则。此外，精心设计的陷阱惩罚与洞察奖励机制确保了评分能够真正反映模型的推理深度而非表面正确性，这要求评判标准必须极其严谨且可复现。

常用场景

经典使用场景

FinancePro-Bench作为一项高度专业化的金融推理基准测试，其经典使用场景在于评估和对比前沿大语言模型在应对复杂金融场景时的分析能力。该数据集精心构建了400道涵盖会计、衍生品定价、信用分析、税务合规等33个金融子领域的专家级问题，每个问题都内嵌了虚构但贴近真实世界的多角色叙事、结构化金融数据展示以及跨领域情境约束。研究者可借助其配套的细粒度评分量规，对模型输出的开放文本答案进行系统化、可重复的打分，从而精确量化模型在多步推理、矛盾识别与跨框架分析方面的核心表现。

衍生相关工作

FinancePro-Bench的提出催生了一系列相关的高影响力研究工作。其一，推动了针对金融推理能力的专用元推理器与基础模型的研发竞赛，涌现出如SanscriticFinance这类在基准上取得统治性成绩的模型。其二，其精细化的量规评估方法论被借鉴用于构建其他强专业领域（如法律、医疗）的专家级推理评测集，推动了跨领域评测范式的标准化。其三，数据集生成过程中采用的递归式自我改进与内部一致性检核流程，启发了后续工作探索利用模型自我批判与迭代式问题生成的高级数据构造方法，从而提升合成数据的质量与严谨性。

数据集最近研究

最新研究方向

FinancePro-Bench作为金融推理领域的前沿基准测试，聚焦于评估大语言模型在复杂、跨领域金融场景下的专家级推理能力。该数据集引入基于详细评分量规（rubric）的开放回答评价方法，超越了传统依赖固定文本或单一下文的简单问答，精准刻画了金融领域中上下文敏感、多步推导的典型任务特征。当前研究热点主要集中在验证如SanscriticFinance等专业模型在此类评测中表现出的显著优势，其88.4%的准确率远超通用前沿模型，揭示了专业领域知识蒸馏与推理框架设计对提升金融智能的关键作用。该基准的提出不仅推动了AI在金融、法律等高度语境化领域的评估标准演进，也为构建更具鲁棒性和专家水平的决策支持系统奠定了重要基础。