Spreadsheet-RL

Spreadsheet-RL数据集是一个专为训练和评估电子表格智能代理设计的强化学习数据集，作为Spreadsheet-RL框架的核心组成部分。该框架通过强化学习训练智能体使用工具编辑Excel工作簿，并通过工作簿重新计算和答案范围比较获得基于结果的奖励。数据集包含训练和评估数据，具体包括Parquet格式数据文件（训练集5,928行、SpreadsheetBench评估集2,726行、Domain-Spreadsheet评估集1,662行，每种评估集提供Hermes和Qwen3-Coder工具调用格式化版本）和压缩存档spreadsheets.zip（包含10,316个任务，解压后分为ExcelForum训练任务5,928个、SpreadsheetBench任务2,726个和Domain-Spreadsheet任务1,662个）。每个Parquet文件列包括：data_source（数据源标签）、agent_name（代理循环名称）、prompt（序列化聊天提示）、ability（能力标签）、reward_model（奖励元数据）和extra_info（任务元数据）。每个任务目录包含instruction.json、input.xlsx、output.xlsx和target.xlsx文件。Domain-Spreadsheet任务进一步细分为金融（初级、中级、高级）、人力资源、房地产、销售和供应链等领域。该数据集适用于电子表格操作、工具使用智能体、强化学习（特别是基于结果奖励的任务）和领域特定任务自动化等研究和应用场景。

The Spreadsheet-RL dataset is a reinforcement learning (RL) dataset specifically designed for training and evaluating spreadsheet AI agents, and serves as a core component of the Spreadsheet-RL framework. This framework trains agents to edit Excel workbooks using tools via reinforcement learning, and derives outcome-based rewards through workbook recalculation and comparison with target answer ranges. The dataset includes training and evaluation data, specifically Parquet-format data files (with 5,928 rows in the training set, 2,726 rows in the SpreadsheetBench evaluation set, and 1,662 rows in the Domain-Spreadsheet evaluation set; each evaluation set provides tool-call formatted versions for both Hermes and Qwen3-Coder), as well as the compressed archive spreadsheets.zip, which contains 10,316 tasks. After decompression, the tasks are split into 5,928 ExcelForum training tasks, 2,726 SpreadsheetBench tasks, and 1,662 Domain-Spreadsheet tasks. Each Parquet file contains the following columns: data_source (data source label), agent_name (agent loop name), prompt (serialized chat prompt), ability (capability label), reward_model (reward metadata), and extra_info (task metadata). Each task directory contains the files instruction.json, input.xlsx, output.xlsx, and target.xlsx. Domain-Spreadsheet tasks are further categorized into domains including finance (beginner, intermediate, advanced), human resources, real estate, sales, and supply chain. This dataset is suitable for research and application scenarios including spreadsheet operation, tool-using AI agents, reinforcement learning (especially tasks with outcome-based rewards), and domain-specific task automation.

原始信息汇总

数据集概述

数据集名称：Spreadsheet-RL

语言：英语（en）

许可协议：Creative Commons Attribution-ShareAlike 4.0 International (CC-BY-SA-4.0)

任务类别：强化学习（reinforcement-learning）

标签：spreadsheet, excel, reinforcement-learning, tool-use, agents, verl, grpo

数据集简介：本数据集用于训练和评估 Spreadsheet-RL 模型，这是一个面向电子表格智能体的强化学习框架。该智能体通过工具编辑 Excel 工作簿，并根据工作簿重算结果与答案范围比较获得基于结果的奖励。

---

文件结构

数据集包含按解析器类型划分的 Parquet 文件和一个压缩的工作簿归档文件：

文件	行数	说明
train_hermes.parquet	5,928	训练集，使用 Hermes 工具调用格式
train_qwen3_coder.parquet	5,928	训练集，使用 Qwen3-Coder 工具调用格式
test_hermes.parquet	2,726	SpreadsheetBench 评估集，使用 Hermes 格式
test_qwen3_coder.parquet	2,726	SpreadsheetBench 评估集，使用 Qwen3-Coder 格式
test_domain_hermes.parquet	1,662	Domain-Spreadsheet 评估集，使用 Hermes 格式
test_domain_qwen3_coder.parquet	1,662	Domain-Spreadsheet 评估集，使用 Qwen3-Coder 格式
spreadsheets.zip	10,316 个任务	工作簿文件与任务元数据

Parquet 文件命名规则：train_<parser_type>.parquet、test_<parser_type>.parquet、test_domain_<parser_type>.parquet。

---

数据表结构

每个 Parquet 文件包含以下列：

列名	说明
data_source	数据来源标签，当前为 sheet_arena
agent_name	智能体循环名称，当前为 tool_agent
prompt	序列化的聊天提示，包含系统和用户任务消息
ability	能力标签，当前为 spreadsheet
reward_model	奖励元数据，包括真实工作簿路径和奖励风格
extra_info	任务元数据，如 id、split、answer_position 及主工作簿扩展名

---

工作簿归档内容

spreadsheets.zip 解压后包含三个目录：

• excelforum/
• spreadsheetbench/
• domain/

每个任务目录包含：

• instruction.json
• input.xlsx
• output.xlsx
• target.xlsx

各组任务数量：

分组	任务数
ExcelForum 训练任务	5,928
SpreadsheetBench 评估任务	2,726
Domain-Spreadsheet 评估任务	1,662

---

Domain-Spreadsheet 领域分布

领域	任务数
finance_beginner	597
finance_intermediate	388
finance_advanced	135
hr	185
real_estate	89
sales	87
supply_chain	181

---

使用方式

下载数据集： bash hf download Spreadsheet-RL/Spreadsheet-RL --repo-type dataset --local-dir data unzip data/spreadsheets.zip -d data

设置环境变量进行训练和评估（默认使用 Hermes 格式文件）： bash export SPREADSHEET_RL_DATA_ROOT="$PWD/data" export TRAIN_FILE="$SPREADSHEET_RL_DATA_ROOT/train_hermes.parquet" export TEST_FILE="$SPREADSHEET_RL_DATA_ROOT/test_hermes.parquet"

若使用 Domain-Spreadsheet 验证集： bash export TEST_FILE="$SPREADSHEET_RL_DATA_ROOT/test_domain_hermes.parquet"

若使用 Qwen3-Coder 解析器数据，请使用 *_qwen3_coder.parquet 文件并相应配置 rollout 解析器。

---

引用

bibtex @misc{chi2026spreadsheetrl, title = {Spreadsheet-RL: Advancing Large Language Model Agents on Realistic Spreadsheet Tasks via Reinforcement Learning}, author = {Banghao Chi and Yining Xie and Mingyuan Wu and Jingcheng Yang and Jize Jiang and Zhaoheng Li and Shengyi Qian and Minjia Zhang and Klara Nahrstedt and Rui Hou and Xiangjun Fan and Hanchao Yu}, year = {2026}, eprint = {2605.22642}, archivePrefix = {arXiv}, primaryClass = {cs.AI}, doi = {10.48550/arXiv.2605.22642}, url = {https://arxiv.org/abs/2605.22642} }

---

相关资源

• 项目页面：https://spreadsheet-rl.github.io/
• 论文：https://arxiv.org/abs/2605.22642
• GitHub 代码库：https://github.com/Spreadsheet-RL/Spreadsheet-RL
• 模型检查点：https://huggingface.co/Spreadsheet-RL/Spreadsheet-RL-4B

搜集汇总

数据集介绍

构建方式

在电子表格自动化领域，强化学习智能体常因缺乏真实任务环境中的结果导向反馈而性能受限。Spreadsheet-RL数据集专为克服这一瓶颈而设计，其构建围绕工具交互与结果验证双核展开。数据集源自ExcelForum、SpreadsheetBench及领域特定电子表格任务三大来源，共计10316个任务。每个任务以目录形式存储，包含`instruction.json`描述指令、`input.xlsx`初始工作簿、`output.xlsx`答案工作簿及`target.xlsx`目标工作簿。通过解析器特化的parquet文件（Hermes与Qwen3-Coder两种格式）对训练与评估分片进行序列化，确保不同智能体框架的无缝接入。

特点

该数据集最显著的特质在于其强化学习原生的奖励机制。所有任务均配备`reward_model`字段，内含真实工作簿路径与奖励风格元数据，使得智能体可通过工作簿重算与答案范围比对获得基于结果的奖励信号，而非依赖过程监督。数据覆盖财务、人力资源、房地产、销售及供应链等多元领域，其中Domain-Spreadsheet部分按财务难度细分为初、中、高级，体现了任务复杂度的层级递进。parquet文件内统一包含`prompt`对话序列与`ability`能力标签，便于定制训练上下文。

使用方法

使用该数据集时，推荐从HuggingFace仓库下载完整压缩包，并通过`unzip`命令解压工作簿归档。默认训练流程采用Hermes格式的parquet文件，通过设置环境变量`SPREADSHEET_RL_DATA_ROOT`指向数据根目录，并将`TRAIN_FILE`与`TEST_FILE`分别指向对应的训练与评估分片即可启动。若需适配Qwen3-Coder解析器，更换为`*_qwen3_coder.parquet`文件并相应调整rollout解析器配置。对于领域特定验证，可将`TEST_FILE`切换至`test_domain_hermes.parquet`，以在财务、HR等子集上评测模型泛化能力。

背景与挑战

背景概述

Spreadsheet-RL数据集由Banghao Chi、Yining Xie等研究人员于2026年联合发布，旨在推动大型语言模型代理在真实电子表格任务中的能力突破。电子表格作为商业智能与数据分析的核心工具，其操作涉及复杂公式、数据清洗、条件格式等多步骤逻辑，传统监督学习难以覆盖此类开放式的工具使用场景。该数据集以强化学习框架为核心，通过工作簿重算与答案范围比较提供结果导向的奖励信号，训练代理自主编辑Excel工作簿。数据集整合了ExcelForum社区任务（5,928条）、SpreadsheetBench基准（2,726条）及涵盖金融、人力资源、房地产等七大领域的Domain-Spreadsheet评测集（1,662条），为代理在多样化复杂任务中的泛化能力评估奠定了基础。该研究发表于arXiv论文2605.22642，并登上Hugging Face每日精选论文，其对强化学习与工具驱动的智能体研究具有重要推动作用。

当前挑战

Spreadsheet-RL所解决的领域问题核心在于将强化学习应用于复杂的、多步骤的电子表格操作任务，这要求代理不仅理解自然语言指令，还要准确执行诸如公式编写、数据透视表生成、跨工作簿引用等工具调用，并从中学习决策策略，与传统图像分类或文本生成任务形成鲜明对比。构建过程中面临多重挑战：一是奖励信号的设计，需通过Excel工作簿的实时重算机制与答案范围比对输出精确的稀疏奖励，这对计算效率与环境一致性提出了高要求；二是数据规模的覆盖，现有社区来源（如ExcelForum）的任务分布不均，需人工标注与领域专家协作以确保金融、供应链等垂直场景的均衡性；三是工具调用格式的适配，数据集需同时支持Hermes与Qwen3-Coder两种解析器，增加了数据预处理的复杂性。此外，工作簿文件（.xlsx）的版本兼容性与跨平台执行稳定性，也是确保训练可复现的重要难点。

常用场景

经典使用场景

Spreadsheet-RL数据集专为训练和评估基于强化学习的电子表格智能体而设计，其核心使用场景是让大语言模型学会通过工具调用编辑Excel工作簿，并利用工作簿重算结果与目标答案的比较来获得奖励信号。该数据集包含超过一万个真实任务，覆盖从ExcelForum论坛收集的多样化操作需求，以及标准化的SpreadsheetBench评测基准，每个任务均配有完整的输入工作簿、预期输出和最终目标文件，为智能体提供了从指令理解、工具操作到结果验证的闭环训练环境。研究者可借助该数据集，探索如何将强化学习范式有效应用于结构化数据处理领域。

解决学术问题

该数据集解决了大语言模型在复杂电子表格操作任务中缺乏高质量训练信号和可扩展学习框架的学术难题。传统监督学习方法受限于人工标注成本，难以覆盖多样化的表格编辑场景，而Spreadsheet-RL通过引入基于工作簿重算的结果奖励机制，使智能体能够从执行结果中自动学习最优操作策略，无需逐步骤的专家演示。这一突破显著推动了智能体在工具使用、多步推理和结构化数据操作等研究方向的发展，使得语言模型不仅理解指令，更能自主完成从公式填充、数据整理到报表生成等专业级电子表格任务，为构建真正具备生产力水平的智能助手奠定了方法论基础。

衍生相关工作

围绕Spreadsheet-RL数据集，衍生出一系列具有影响力的研究工作。首先，该工作提出了基于GRPO（Group Relative Policy Optimization）和verl框架的强化学习训练流水线，论证了结果奖励模型在长链条工具操作中的有效性，为后续智能体研究提供了可复现的基准管线。其次，数据集中的SpreadsheetBench评测集已成为评估电子表格智能体能力的标准标杆，催生了多项探索稀疏奖励、过程监督、多模态理解等方向的改进工作。此外，基于该数据集的Domain-Spreadsheet子集还激发了针对金融、房地产等特定行业表格操作的专业化研究，推动了垂直领域智能体从通用能力向领域精专化的演进。