workbook-change-benchmark

Workbook Change Assurance Benchmark (WCAB) 是一个开放、确定性的基准测试，旨在评估审查Excel工作簿变更的工具。该数据集包含61个合成案例，每个案例提供二进制fixtures、63个显式可观察变更事实、一个参考审查处置、文档化的覆盖边界，以及（在相关情况下）机器可匹配的覆盖期望。数据集的机器可读入口点为manifest.jsonl，每条记录包含完整的真相合约以及精确的相对工作簿路径、字节数和SHA-256摘要。对应的二进制fixtures存放在fixtures/目录下。该基准测试针对电子表格变更保证：评估差异工具、策略门控、静态分析器或编辑代理在工作簿变更时是否保留实质性审查证据。当前案例涵盖了多种变更类型，包括公式转值、引用漂移、输入传播、外部引用、命名区域、控件、计算状态、循环引用、结构性变更（如Excel表格范围扩展、计算列主公式变更、Power Pivot/数据模型关系变更、INDIRECT引用引入、外部数据连接刷新、包签名声明、现代线程评论、传统共享工作簿修订日志、数据透视表缓存、数据透视表值字段、切片器缓存、Power Query M定义、方案管理器、模拟运算表、数据验证规则、条件格式、自定义数字格式、错误检查、DrawingML图表、外部工作簿公式、定义名称、命名LAMBDA、工作表保护、受保护范围、敏感度标签元数据、窗体控件、循环公式、精度设置、动态数组、保存的数值结果、日期系统、自动筛选、命名工作表视图、XML映射、Office Web加载项、OLE对象、查询表、单元格超链接、多工作簿组合等）。还包括一个真实的启用宏的.xlsm文件对。该基准测试不评估Excel公式执行，也不声称候选数值结果正确。审查期望是一个透明的基准约定，而非通用业务策略。使用者应保留每个案例的覆盖边界，披露适用的覆盖期望，并明确报告不支持的features。Workbook Change Assurance Benchmark (WCAB) is an open, deterministic benchmark designed to evaluate tools that review changes to Excel workbooks. This dataset contains 61 synthetic cases, each providing binary fixtures, 63 explicitly observable change facts, a reference review disposition, documented coverage boundaries, and (where relevant) machine-actionable coverage expectations. The machine-readable entry point for the dataset is manifest.jsonl, where each record contains a complete truth contract, as well as precise relative workbook paths, byte counts, and SHA-256 digests. The corresponding binary fixtures are stored in the fixtures/ directory. This benchmark targets spreadsheet change assurance: it evaluates whether difference tools, policy-gated systems, static analyzers, or editing agents retain substantive review evidence when workbooks are modified. The current cases cover a wide range of change types, including formula-to-value conversion, reference drift, input propagation, external references, named ranges, controls, calculation state, circular references, structural changes (such as Excel table range expansion, calculated column master formula changes, Power Pivot/data model relationship changes, INDIRECT reference introduction, external data connection refresh, package signature declarations, modern threaded comments, legacy shared workbook revision logs, PivotTable caches, PivotTable value fields, slicer caches, Power Query M definitions, Scenario Manager, Data Tables, data validation rules, conditional formatting, custom number formats, error checking, DrawingML charts, external workbook formulas, defined names, named LAMBDA functions, worksheet protection, protected ranges, sensitivity label metadata, form controls, circular formulas, precision settings, dynamic arrays, saved numerical results, date systems, AutoFilter, named worksheet views, XML mappings, Office Web Add-ins, OLE objects, query tables, cell hyperlinks, multi-workbook consolidations, etc.). It also includes a real pair of macro-enabled .xlsm files. This benchmark does not evaluate Excel formula execution, nor does it claim that candidate numerical results are correct. Review expectations are a transparent benchmark convention, rather than a general business strategy. Users should retain the coverage boundaries of each case, disclose applicable coverage expectations, and clearly report unsupported features.

原始信息汇总

Workbook Change Assurance Benchmark (WCAB) 数据集详情

基本信息

• 数据集名称：Workbook Change Assurance Benchmark (WCAB)
• 地址：https://huggingface.co/datasets/SybilGambleyyu/workbook-change-benchmark
• 数据集规模：n<1K（小于1000个样本）
• 语言：英语
• 许可证：MIT
• 标签：excel、spreadsheet、benchmark、audit、testing、ci

数据集简介

WCAB是一个用于评估Excel工作簿变更审查工具的开源、确定性基准测试数据集。该数据集包含61个合成案例，每个案例提供了测试夹具（fixtures）、63个明确的克观测变更事实、参考审查判定（review disposition）、文档化的覆盖边界，以及在相关情况下可机器匹配的覆盖期望。

数据结构

数据集的机器可读入口为manifest.jsonl文件，每条记录对应一个案例。每条记录包含完整的真值契约（truth contract），以及精确的工作簿相对路径、字节数和SHA-256摘要。对应的二进制测试夹具位于fixtures/目录下。

评估目标

该基准测试针对以下工具的电子表格变更保障能力：

• 差异对比工具（diff tools）
• 策略网关（policy gates）
• 静态分析器（static analyzers）
• 编辑代理（editing agents）

目标是评估这些工具在工作簿发生变化时，是否保留了重要的审查证据。

覆盖的案例类型（部分示例）

• 公式转值替换、引用漂移、输入传播
• 外部引用、命名区域、控件、计算状态
• 循环引用、结构性变更（包括Excel表格范围扩展）
• 数据透视表缓存和值字段变更
• Power Query M定义、方案管理器声明
• 数据验证规则、条件格式规则
• 自定义数字格式、错误检查声明
• 图表引用变更
• 外部工作簿公式更新策略变更
• 命名LAMBDA函数体变更
• 工作表保护排序权限变更
• 敏感度标签元数据变更
• 宏分配变更（XLM Auto_Open）
• 多种OOXML包级变更（如超链接、查询表、OLE对象等）
• 多工作簿组合案例

使用指南

1. 下载manifest.jsonl文件以枚举所有案例
2. 根据引用信息获取对应的测试夹具文件
3. 在运行评估器前，使用SHA-256摘要验证每个下载的工作簿

可通过源代码仓库进行本地验证和确定性夹具生成： bash git clone https://github.com/SybilGambleyyu/workbook-change-benchmark cd workbook-change-benchmark python -m venv .venv .venv/bin/python -m pip install -e .[dev] wcab validate --fixtures fixtures

重要声明

• 该基准测试不评估Excel公式执行，也不声明候选数值结果正确
• review_expectation是透明的基准测试约定，并非通用业务策略
• 消费方应保留每个案例的coverage边界，披露适用的coverage_expectations，并明确报告不支持的功能
• 多个案例仅记录存储的OOXML或其他元数据，不涉及实际执行、信任验证、授权或客户端行为

搜集汇总

数据集介绍

构建方式

该基准测试数据集由61个精心构造的合成案例组成，每个案例均包含完整的可观察变更事实、参考审查处置、明确的覆盖边界以及机器可匹配的覆盖期望。数据集通过manifest.jsonl文件提供机器可读的入口，每条记录详细描述了工作簿的精确相对路径、字节数及SHA-256摘要，对应的二进制夹具存放于fixtures目录下。所有案例均基于真实Excel文件格式构造，涵盖公式替换、引用漂移、外部链接、数据透视表、宏表、图表等多种变更类型，并严格确保每个案例仅改变目标属性，其余包成员保持固定，以隔离变量。

使用方法

使用该数据集时，首先通过下载manifest.jsonl文件枚举所有案例，然后依据其中记录的路径获取对应的二进制夹具，并在运行评估器前用SHA-256摘要校验每个下载的工作簿。源码仓库提供了本地验证器和确定性夹具生成器，可通过克隆仓库、创建虚拟环境、安装依赖并运行验证命令来使用。研究者可依据truth schema和工具无关的观察协议，评估差异工具、策略门禁、静态分析器或编辑代理在审查工作簿变更时是否保留关键审查证据。数据集不评估公式执行或数值正确性，使用者应保留每个案例的覆盖边界，并明确披露适用的覆盖期望。

背景与挑战

背景概述

随着电子表格在金融、审计及数据分析等关键领域的广泛应用，确保工作簿修改过程中的数据完整性与可追溯性已成为一项至关重要的议题。Workbook Change Assurance Benchmark (WCAB) 数据集于2023年由SybilGambleyyu等研究人员及机构创建，旨在为审查Excel工作簿变更的工具提供公开、确定性的基准。该数据集包含61个合成案例，覆盖公式转值、引用漂移、外部链接、命名范围、控件及计算状态等多维度变更场景，并明确界定评估边界，不涉及公式执行或数值正确性验证。其核心研究问题在于评估差异工具、策略门禁、静态分析器及编辑代理在变更中是否保留关键审查证据，其影响力在于为电子表格变更保证领域提供了标准化、可复现的评测框架。

当前挑战

WCAB数据集所应对的领域挑战在于，现有工具在审查工作簿变更时，常面临对复杂内部结构变化（如数据透视表、Power Query、外部数据连接、宏及签名等）检测不完整或误报的问题，且缺乏统一、透明的评估标准。在构建过程中，挑战主要源于合成案例的高保真性要求，即每个案例需在保持其他包成员固定的前提下，仅变更目标属性，以隔离变量，这要求对OOXML包结构进行精细操控，并生成精确的SHA-256校验和来确保确定性。此外，数据集的边界定义需排除对宏观内容、宏执行及客户端行为的评估，同时需提供清晰的覆盖范围与期望导出，以支持工具间的客观比较与结果披露。

常用场景

经典使用场景

Workbook Change Assurance Benchmark（WCAB）作为一项精巧的基准测试，专为评估Excel工作簿变更审查工具而设计，在电子表格工程与数据质量保障领域占据独特地位。该数据集包含61个合成案例，每个案例均提供完整的二进制夹具与明确的变更事实，以及机器可匹配的覆盖期望，使得工具开发者能够以确定性的方式检验差异比较器、策略门禁、静态分析器或编辑代理在变更过程中保留关键审查证据的能力。通过聚焦于公式替换、引用漂移、外部链接、命名范围及结构变更等微妙场景，WCAB为审查工具的能力圈定了精确的边界，成为该领域不可或缺的验证基石。

解决学术问题

在学术研究层面，WCAB直面电子表格变更管理中长期存在的验证难题——即如何系统性地评估工具在复杂工作簿变更中识别和保留关键信息的能力。它解决了传统基准测试中缺乏标准化的、可重复的评估协议的问题，为比较不同方法提供了客观基础。该数据集明确区分了存储声明与实际执行，引导研究者关注元数据层面的变更，而非数值计算正确性，从而推动了变更影响分析、审计追踪完整性验证及工具鲁棒性测试等方向的学术探索，对提升企业级电子表格治理水平具有深远影响。

实际应用

在实际应用中，WCAB为开发与维护Excel工作簿变更审查工具的团队提供了高质量的测试与验证资源。软件工程师可利用该数据集进行持续集成，自动执行回归测试，确保更新后的工具不会遗漏任何关键变更事实。审计与合规部门亦能参考基准所定义的覆盖边界，调整工作簿审查流程，增强对潜在风险点的检测能力。此外，数据集附带的验证工具简化了测试流程，使得从原型到生产环境的过渡更加稳健，直接助力于提升金融、运营等领域对电子表格资产变更的管控质量。

数据集最近研究

最新研究方向

该数据集聚焦于电子表格变更保障的前沿研究，针对Excel工作簿变更审查工具提出了一套开放、确定性的基准测试方法。其61个合成案例覆盖了从公式替换、引用漂移到外部数据连接、宏安全等多样化的变更场景，为差异比对工具、策略门禁及静态分析器提供严格的评估框架。该基准的提出正值数据治理与办公自动化日益融合之际，其精细的覆盖边界说明与机器可匹配的期望设定，推动了电子表格审计从粗粒度比向精细语义验证的转变，对提升企业数据完整性和合规性具有深远意义。