SpreadsheetBench 2

SpreadsheetBench 2是一个用于评估代理在端到端业务电子表格工作流程上的基准测试。与现有专注于孤立操作的基准不同，SpreadsheetBench 2要求代理通过多步协调操作完成工作流程级目标，在复杂的多工作表工作簿中进行跨工作表推理，并产生可交付成果级输出，包括结构化模型、修复的电子表格和准确的视觉化。数据集包含四个类别：调试（公式调试和错误纠正）、财务模型（财务建模和计算）、模板（基于模板的电子表格操作）和视觉化（图表生成和数据视觉化）。

SpreadsheetBench 2 is a benchmark for evaluating agents' performance on end-to-end business spreadsheet workflows. Unlike existing benchmarks that focus on isolated operations, SpreadsheetBench 2 requires agents to accomplish workflow-level goals via multi-step coordinated operations, conduct cross-sheet reasoning within complex multi-sheet workbooks, and generate deliverable-level outputs including structured models, repaired spreadsheets, and accurate visualizations. The dataset includes four categories: debugging (formula debugging and error correction), financial modeling (financial modeling and computation), templating (template-based spreadsheet operations), and visualization (chart generation and data visualization).

原始信息汇总

数据集概述

数据集名称：SpreadsheetBench 2

核心定位：评估智能体在端到端商业电子表格工作流中的能力。

主要特点：

• 聚焦工作流级别的目标，要求智能体通过多步协调操作完成复杂任务。
• 支持跨工作表推理，处理包含多个工作表的复杂工作簿。
• 输出可交付级别的结果，包括结构化模型、修复后的电子表格及准确的可视化图表。

数据集类别：包含四个主要类别：

类别	描述
Debugging	公式调试与错误修正
Financial_Model	财务建模与计算
Template	基于模板的电子表格操作
Visualization	图表生成与数据可视化

数据格式：每个类别文件夹内包含 dataset.json 文件及对应的电子表格文件（位于 spreadsheet/ 子目录下）。数据点包含：

• id：数据点的唯一标识符
• instruction：关于电子表格操作的提问
• spreadsheet_path：存储输入文件的文件夹路径
• golden_response_path：存储答案文件的文件夹路径

使用环境：

• 依赖 Python 3.11 及 Conda 环境
• 使用 SWE-agent 框架，需安装相应依赖并构建 Docker 镜像（spreadsheetbench-v2）
• 推荐使用 openrouter/z-ai/glm-5 模型（需配置 API Key），可视化任务推荐使用 glm-4.6v 模型

评估流程：

1. 运行 SWE-agent 执行任务，根据任务类型选择配置（spreadsheet.yaml 或 visualisation.yaml）
2. 使用 LibreOffice 刷新缓存电子表格值
3. 通过专用评估脚本评估结果：
   • Debugging、Financial_Model、Template 使用 evaluation/evaluation.py
   • Visualization 使用 evaluation/run_visual_vlm_checklist_eval.py（基于 VLM 清单评估器）

结果输出：评估结果写入 results/<Category>/ 目录；可视化评估额外生成 JSON 格式报告文件。

相关资源：

• 官方网站：https://spreadsheetbench.github.io/
• 论文：https://arxiv.org/abs/2606.29955
• 数据集下载：https://huggingface.co/datasets/KAKA22/SpreadsheetBench-v2

搜集汇总

数据集介绍

构建方式

SpreadsheetBench 2的构建聚焦于办公场景下的端到端电子表格工作流，涵盖了调试、金融建模、模板操作与数据可视化四大类别。每个数据点包含唯一标识、操作指令、输入电子表格路径以及标准答案路径，形成结构化的评估单元。数据集存放于本地目录，并依据类别进行分文件夹管理，每类下均有dataset.json文件与对应的电子表格文件，便于标准化存取与复用。

使用方法

使用者需先搭建基于Conda的Python环境并安装SWE-agent，随后通过Docker构建专用镜像以隔离运行环境。运行实验时，通过sweagent命令加载配置文件，并指定模型名称、API密钥以及对应的数据集类别路径。可视化任务需使用专用配置文件。评估阶段根据任务类型不同，采用基于计算结果的自动评测或视觉语言模型的清单式评估，最终以JSON格式输出报告并进行存档。

背景与挑战

背景概述

在商业数据分析与办公自动化领域，电子表格作为数据整理、财务建模及可视化呈现的核心工具，其操作复杂度随着工作簿多表关联与流程级任务的增加而显著提升。现有基准测试多聚焦于孤立单元格或单一公式的修正，难以衡量智能体在真实业务场景中的综合能力。SpreadsheetBench 2由研究团队于2026年创建，旨在填补这一评估空白。该基准测试要求智能体完成端到端的工作流级目标，涵盖跨表推理、结构化模型构建、电子表格修复以及精准可视化输出等任务，对推动大语言模型在电子表格自动化领域的应用具有里程碑意义。

当前挑战

SpreadsheetBench 2所解决的领域挑战在于，现有电子表格智能体缺乏对多步骤协调操作与跨表逻辑关联的理解能力，导致在处理包含多表嵌套的复杂工作簿时频繁出错。构建过程中面临的挑战包括：1）数据标注的复杂性——需要为调试、财务模型、模板及可视化四类任务设计兼具真实性与多样性的指令及预期结果；2）评估标准的设计——如何客观衡量可交付物级输出（如结构化模型与可视化图表）的准确性，尤其在可视化任务中需引入大视觉语言模型进行分项检查；3）环境模拟的难度——需构建支持公式刷新与多表交互的沙箱环境，确保智能体操作的可重复性与公平性。

常用场景

经典使用场景

在办公自动化与智能数据分析的交叉领域中，SpreadsheetBench 2 的核心用途在于评估智能体在端到端商业电子表格工作流中的综合执行能力。与以往仅聚焦于单一操作（如公式计算或单元格编辑）的基准不同，该数据集要求智能体在多工作表协同的复杂环境中，完成从理解高层级业务目标到执行多步骤协调操作的全过程，最终产出结构化的财务模型、错误修复后的电子表格或精确的可视化图表。这一设计使其成为衡量大语言模型驱动智能体在真实商业场景中任务规划、跨表推理与操作执行能力的权威标准。

解决学术问题

该数据集有效填补了现有电子表格智能体研究在系统性评估方面的空白。此前，学术评估多局限于孤立的指令跟随任务，忽视了真实业务工作流中常见的多表联动、数据依赖链条及目标导向的递进式操作。SpreadsheetBench 2 通过引入调试、财务建模、模板操作和可视化四大类子任务，系统性地考察了智能体在错误发现与纠正、数值计算与逻辑推理、格式化编排以及图表生成等方面的综合表现，为解决‘现有基准无法反映智能体在复杂工作流中的实际能力’这一关键问题提供了数据与评估双支撑。

实际应用

在实际商业环境中，SpreadsheetBench 2 所模拟的任务场景直接对应于金融分析师、数据运营专员和业务管理者日常面临的典型需求。例如，在财务对账与预算编制中，智能体需自动检测并修正跨工作表的公式错误；在报表生成过程中，它需依据多表数据提取关键指标并完成可视化呈现。该数据集因此可被用作企业级电子表格自动化工具的质量测试床，为开发能够高效处理复杂工作流的智能助手提供可量化的验证手段，同时也为探索智能体在风险控制、合规审查等敏感任务中的可靠性奠定了基础。

数据集最近研究

最新研究方向

该数据集聚焦于评估智能体在端到端商业电子表格工作流中的能力，标志着从单一指令操作向复杂多步骤业务流程处理的范式转变。随着大语言模型与自动化代理技术的快速演进，SpreadsheetBench 2 针对现实商业场景中跨表单推理、结构化建模与可视化交付等高级需求，设计了调试、财务建模、模板操作与图表生成四大类任务。这一基准的提出回应了企业智能化转型中对复杂表格自动化处理的迫切需求，特别是在财务分析、数据修复与报告生成等热点领域，为衡量智能代理在真实业务环境中的实用性与可靠性提供了权威参照，推动了人机协作与决策智能化的前沿探索。