tencent/PlanningBench

PlanningBench是一个用于评估和训练大型语言模型在复杂文本规划任务上的合成规划基准和数据构建框架。它关注模型是否能够将目标、约束、资源、时间窗口、依赖关系、优先级和目标协调成一个可执行且可验证的计划。与手工编写的固定规划示例集合不同，PlanningBench将真实规划场景抽象为可重用的任务分类、约束家族和难度因素。该基准旨在测试在耦合约束下的完整计划成功，而不仅仅是局部需求满足。它针对自包含的文本规划问题，其中构建和验证计划所需的所有信息都在输入中提供。每个实例包含一个规划问题和相应的验证检查清单，以便评估模型输出在约束满足和目标质量方面的表现。当前版本发布了467个合成规划实例，所有实例均用于评估，应视为基准/测试数据而非训练数据。数据通过手动编写和检查，不包含专有业务数据、用户日志、客户数据、生产数据或企业工作流记录。任务分类包括六个高级规划家族：调度与时间表、项目与生产操作、路由与旅行、应急响应与公共服务、分配与匹配、以及班次与劳动力调度。数据构建框架采用约束驱动的合成管道，支持跨任务、约束和解决方案结构的可控多样性，并通过约束紧密度、资源稀缺性、目标冲突、子任务依赖性和全局协调要求等因素调整难度。

# PlanningBench：面向大语言模型（Large Language Model）评测与训练的可扩展可验证规划数据集

<p align="center">
<img src="asset/hunyuanlogo.png" alt="腾讯混元" width="220"/>
<img src="asset/cn_ruc_logo.png" alt="中国人民大学" width="360"/>
</p>

<p align="center">
<a href="https://arxiv.org/abs/2605.20873"><img src="https://img.shields.io/badge/arXiv-PlanningBench-b31b1b.svg" alt="arXiv"/></a>
<a href="https://huggingface.co/datasets/tencent/PlanningBench"><img src="https://img.shields.io/badge/HuggingFace-Dataset-yellow" alt="Hugging Face"/></a>
<a href="./LICENSE-PlanningBench.txt"><img src="https://img.shields.io/badge/Licence-PlanningBench-blue.svg" alt="Licence"/></a>
<a href="./data/PlanningBench-eval.jsonl"><img src="https://img.shields.io/badge/Data-467%20Planning%20Data-green" alt="Data"/></a>
</p>

PlanningBench是一款面向复杂文本规划任务的合成规划基准测试集与数据构建框架，用于大语言模型的评测与训练。其核心考察目标为：模型能否将各类任务目标、约束条件、资源、时间窗口、依赖关系、优先级与任务目标整合为可执行且可验证的规划方案。

与固定的手写规划示例集不同，PlanningBench将真实规划场景抽象为可复用的任务分类体系、约束集族与难度因子。该基准测试集旨在评测模型在耦合约束下生成完整规划方案的能力，而非仅满足局部需求的表现。

### 概述

<div align="center">
<img src="asset/planningbench-logo.png" alt="PlanningBench标志" width="400"/>
</div>

PlanningBench面向自包含型文本规划问题，即输入中已提供构建与验证规划方案所需的全部信息。每个数据实例均包含规划问题与对应的验证清单，以便对模型输出的约束满足度与目标完成质量进行评测。

本仓库当前发布**467条合成规划实例**，且全部467条实例仅用于**评测**，请将其视为基准测试/测试数据而非训练数据。

已发布的数据均经过人工编写与审核，**不包含**专有商业数据、用户日志、客户数据、生产数据或企业工作流记录。本次质量管控与审核由人工标注人员参与，但基准实例并非由其从零创建。

### 发布内容

本仓库包含以下内容：

text
PlanningBench/
├── data/
│ └── PlanningBench-eval.jsonl # 467条合成评测实例
├── asset/
│ ├── planningbench-logo.png # PlanningBench基准测试集标志
│ ├── hunyuanlogo.png # 腾讯混元标志
│ ├── cn_ruc_logo.png # 中国人民大学校徽
│ ├── figure-data.png # 任务分类体系与数据分布示意图
│ └── figure-framework.png # 数据构建框架示意图
├── LICENSE-PlanningBench.txt
└── README.md

### 任务分类体系与数据分布

我们定义了PlanningBench所使用的任务空间，将规划问题划分为6个高级规划类别、30余种具体任务类型与多种子任务变体。

该分类体系基于规划结构而非仅表面应用领域进行组织，涵盖了时间冲突、资源分配、覆盖与公平性、路径协调、生产依赖、应急响应优先级等各类规划难度来源。

<p align="center">
<img src="asset/figure-data.png" alt="PlanningBench任务分类体系与数据分布" width="760"/>
</p>

六个高级规划类别如下：

- **调度与排程**：时间冲突、时间窗口与执行顺序
- **项目与生产运营**：里程碑、依赖关系、产能与连续性
- **路径规划与出行调度**：路径选择、时空协调与换乘
- **应急响应与公共服务**：时效性、优先级分配与重规划
- **分配与匹配**：兼容性与产能限制下的资源分配
- **排班与劳动力调度**：覆盖范围、轮班公平性与可用性

### 数据构建框架

PlanningBench采用约束驱动的合成流程。其构建过程将真实规划场景抽象为任务与约束分类体系，采样任务-约束配置组合，生成自包含型规划问题，附加验证清单或评分标准，并结合自动筛选与人工质量管控审核。

<p align="center">
<img src="asset/figure-framework.png" alt="PlanningBench构建框架" width="760"/>
</p>

该流程包含两个主要阶段：
1. **任务与约束分类体系构建**：将典型规划场景归纳为任务类别、具体任务、子任务变体、通用约束、任务专属约束与专用状态约束
2. **约束驱动的合成与难度增强**：生成器（Generator）生成候选规划实例，求解器（Responder）尝试对其进行求解，校验器（Critic）依据验证清单对输出结果进行验证。基于已求解与未求解实例的反馈信息，调整采样策略以适配合适的任务难度

该设计支持在任务、约束与求解结构层面实现可控的多样性。可通过约束紧密度、资源稀缺性、目标冲突、子任务依赖与全局协调需求等因素调整任务难度。

### 引用

若您使用PlanningBench，请引用以下文献：

bibtex
@article{zhao2026planningbench,
title={PlanningBench: Generating Scalable and Verifiable Planning Data for Evaluating and Training Large Language Models},
author={Zhao, Ziliang and Xu, Zenan and Wang, Shuting and Qian, Hongjin and Lei, Yan and Hu, Minda and Wang, Zhao and Dou, Shihan and Dou, Zhicheng and Zhou, Pluto},
journal={arXiv preprint arXiv:2605.20873},
year={2026}
}

### 许可证

许可证信息请参见[`LICENSE.txt`](./LICENSE.txt)。

搜集汇总

数据集介绍

构建方式

PlanningBench遵循约束驱动的合成流水线构建方式。该流程首先将真实规划场景抽象为任务与约束分类体系，涵盖六大高层规划族系及三十余种具体任务类型；随后通过采样任务-约束配置，生成自包含的规划问题实例，并附上验证检查清单。构建过程分为两个阶段：第一阶段建立任务与约束分类体系，提炼出通用约束、任务专属约束及特殊状态约束；第二阶段由生成器创建候选实例，响应器尝试求解，评判器依据清单验证输出，并根据求解反馈调整采样难度。整个过程辅以自动过滤与人工质量审查，确保实例的可靠性与多样性。

特点

该数据集包含467个合成的规划实例，均专用于评估而非训练。其核心特点在于问题完全自包含，所有构建与验证所需信息均内置于输入中，并配备对应的验证检查清单，从而支持对模型输出的约束满足度与目标质量进行量化评判。实例覆盖时间冲突、资源分配、路线协调、生产依赖及应急优先级等复杂约束的耦合场景，而非仅考察局部需求满足。此外，数据不涉及任何专有商业信息或用户日志，全部由人工审查与合成生成，确保了基准测试的纯净性与可重复性。

使用方法

使用时，用户可直接从HuggingFace下载PlanningBench-eval.jsonl文件，包含467条JSON格式的评估实例。每条实例包含规划问题文本及对应的验证检查清单。推荐做法是将问题输入至待评估的大语言模型，获取其生成的规划方案后，利用检查清单进行自动化验证，计算约束满足率与目标达成度等指标。该数据集不应用于训练，仅作为标准测试基准。研究人员亦可基于其开源框架，自行扩展任务族系或调整难度参数，以适配不同的规划评估需求。

背景与挑战

背景概述

PlanningBench是由腾讯混元与中国人民大学联合团队于2026年提出的合成规划基准与数据构建框架，旨在评估与训练大语言模型在复杂文本规划任务中的表现。该数据集聚焦于模型能否在多重耦合约束下（如目标、资源、时间窗、优先级等）生成可执行且可验证的完整计划，而非仅满足局部需求。其研究核心在于通过抽象真实规划场景，构建可复用的任务分类法与约束族，从而系统性地检验大语言模型的规划能力。PlanningBench的发布为规划领域提供了标准化、可扩展的评估基准，对推动大语言模型在任务规划与自动推理方向的研究具有重要影响力。

当前挑战

面临的领域挑战在于，现有大语言模型在处理强耦合、多约束的规划问题时往往无法生成连贯且可执行的完整计划，难以平衡目标冲突与资源限制。在数据构建过程中，团队需要克服合成数据与真实场景之间的语义鸿沟，确保任务分类法的覆盖度与代表性。此外，如何通过约束驱动合成管道生成难度可控且可验证的规划实例，并保证人工审查质量与规模可扩展性，也是构建中的关键挑战。最终，规划答案的可验证性检验机制设计，亦对数据集的可靠性与评估公正性提出了更高要求。

常用场景

经典使用场景

PlanningBench作为一个为大型语言模型设计的可扩展、可验证的规划能力评测与训练数据集，其最经典的使用场景是评估和提升语言模型在复杂文本规划任务中的综合推理能力。该数据集通过抽象现实规划场景，构建了包含时序调度、项目管理、路径规划、应急响应、资源分配以及排班排程六大类任务在内的任务体系，并融入时间窗口、资源约束、优先级冲突等多种约束类型。研究者可以利用这467个精心构造的合成实例，对模型在耦合约束下的完整规划成功率进行严格评测，从而判断模型是否具备协调目标、资源与约束并生成可执行计划的能力。

衍生相关工作

PlanningBench的出现推动了多个相关研究方向的发展，最直接衍生的工作包括基于约束感知的规划推理优化方法，例如将任务与约束分类引入模型预训练或微调流程，以增强模型对多约束场景的泛化能力。同时，该数据集启发了可验证规划框架的设计，研究者尝试将生成-验证-反馈的闭环机制融入语言模型的训练范式，通过批判性评估模块自动反馈规划错误以迭代改进模型策略。此外，PlanningBench的任务分类体系也被借鉴于领域特定规划数据集的构建，例如在医疗调度、航空排班和时间表优化等场景中采用类似的约束抽象与验证清单设计，推动了语言模型在更广泛结构化决策任务中的可靠应用。

数据集最近研究

最新研究方向

PlanningBench的提出标志着大语言模型在复杂规划任务评估与训练领域迈入了系统化与可扩展的新阶段。该数据集通过约束驱动的合成框架，构建了覆盖调度、资源分配、路径协调等六大类规划族的467个高难度实例，每个问题均配备可验证的检查清单，以评估模型在多约束耦合下的完整计划生成能力。这一方向紧密对接当前AI规划与自动化决策的前沿热点——即从单一任务执行转向多目标、多约束协调，例如在应急响应、生产调度等场景中，模型需同时权衡时间窗口、资源冲突与优先级。PlanningBench不仅为衡量模型在约束满足与目标优化上的短板提供了标准化平台，更通过开源可复现的构造管线，推动了规划数据自动生成与难度可控的范式，对提升大模型在现实复杂系统中的可信规划能力具有深远意义。