PlanningBench

PlanningBench 是一个合成规划基准和数据构建框架，用于评估和训练大型语言模型在复杂、基于文本的规划任务上的表现。它专注于模型是否能够将目标、约束、资源、时间窗口、依赖关系、优先级和目标协调成一个可执行且可验证的计划。该数据集包含467个合成规划实例，旨在作为评估/测试数据，而非训练数据。它涵盖了调度与时间表、项目与生产操作、路由与旅行等六个高级规划家族，并提供了任务分类和数据分布。

PlanningBench is a synthetic planning benchmark and data construction framework designed for evaluating and training large language models (LLMs) on complex, text-based planning tasks. It focuses on whether models can integrate objectives, constraints, resources, time windows, dependencies, priorities, and goal coordination into an executable and verifiable plan. This dataset contains 467 synthetic planning instances, intended for evaluation and testing rather than as training data. It covers six high-level planning families, including scheduling and timetabling, project and production operations, routing and travel, and three other unspecified planning domains. It also provides task classification and data distribution information.

原始信息汇总

数据集概述

PlanningBench 是一个面向大语言模型的合成规划基准测试与数据构建框架，专注于评估和训练模型在复杂、基于文本的规划任务上的表现。核心在于评估模型能否将目标、约束、资源、时间窗口、依赖关系、优先级和任务目标协调成一个可执行且可验证的计划。

核心特性

• 合成数据：提供 467 条合成规划实例，全部用于评估（非训练）。
• 可扩展生成：提供一套由约束驱动的合成管道（constraint-driven synthesis pipeline），支持控制任务、约束和求解结构的多样性。
• 可验证评估：每个实例包含规划问题及对应的验证检查清单（verification checklists），可用于评估约束满足度和目标质量。
• 无商业数据：不包含任何专有商业数据、用户日志、生产数据或企业工作流记录。

任务分类

数据集将规划问题组织为 6 大类、超过 30 种具体任务类型 及多种子任务变体：

任务家族	说明
Scheduling and Timetabling	时间冲突、时间窗口、执行顺序
Project and Production Operations	里程碑、依赖关系、容量、连续性
Routing and Travel	路线选择、时空协调、换乘
Emergency Response and Public Service	时效性、优先级分配、重新规划
Allocation and Matching	兼容性与容量限制下的资源分配
Shift and Workforce Scheduling	覆盖、轮换公平性、可用性

数据构建框架

遵循两阶段约束驱动合成流程：

1. 任务与约束分类构建：将代表性规划场景归纳为任务家族、具体任务、子任务变体、通用约束、任务特定约束及特殊状态约束。
2. 约束驱动合成与难度增强：
   • Generator 创建候选实例
   • Responder 尝试求解
   • Critic 根据检查清单验证输出
   • 根据求解结果反馈调整采样，匹配适当难度

数据文件

PlanningBench/ ├── data/ │ └── PlanningBench-eval.jsonl # 467条合成评估实例

关键链接

• 论文：https://arxiv.org/abs/2605.20873
• HuggingFace 数据集：https://huggingface.co/datasets/tencent/PlanningBench
• 数据集许可文件：https://github.com/Tencent-Hunyuan/PlanningBench/blob/main/LICENSE-PlanningBench.txt

搜集汇总

数据集介绍

构建方式

PlanningBench采用约束驱动的合成流水线进行构建。首先，将真实世界的规划场景抽象为任务与约束分类体系，涵盖时间冲突、资源分配、路径协调等多维度规划要素。随后，通过生成器、应答器与验证器三元协作机制，自动采样任务-约束配置并生成自包含的规划问题文本，同时附加可验证的检查清单或评分细则。最终，经由自动过滤与人工质量审核双重保障，确保每个实例的正确性与复杂度可控，从而产出用于评测的467个合成规划样例。

使用方法

数据集以JSONL格式提供全部467个评测实例，每个实例包含规划问题与对应验证清单。用户可直接加载文件，将规划问题作为提示输入至大语言模型，并利用验证清单对模型输出进行自动化约束满足度与目标质量评估。建议将该数据用作基准测试集而非训练集，以客观衡量模型在多维耦合约束下的规划推理能力。

背景与挑战

背景概述

PlanningBench是由腾讯混元团队与中国人民大学联合构建的综合性规划基准数据集，于2026年公开发布，旨在系统评估与训练大型语言模型在复杂文本规划任务中的能力。其核心研究问题聚焦于模型能否在目标、约束、资源、时间窗口、依赖关系、优先级及目标之间进行协调，并生成可执行且可验证的规划方案。该数据集通过抽象现实规划场景，构建了涵盖调度排程、项目生产、路径规划、应急响应、资源分配与人员排班六大规划家族的层次化任务分类体系，显著弥补了现有规划基准在任务多样性与约束耦合性方面的不足。作为合成数据驱动的基准，PlanningBench不仅为语言模型的规划能力评估提供了可扩展、可验证的标准化测试平台，更推动了从简单局部约束满足向全局耦合约束下完整规划成功能力评测的范式转变，对人工智能规划推理领域具有重要的学术与实践影响力。

当前挑战

PlanningBench所面临的挑战主要体现在两个层面：首先，在领域问题层面，当前大型语言模型在处理涉及多重耦合约束的完整规划任务时，普遍呈现出全局协调能力薄弱的问题，难以在时间冲突、资源稀缺、目标矛盾等复杂条件下生成可行的完整规划方案，现有评估体系多侧重于局部约束满足而忽视了规划整体的可执行性与最优性。其次，在数据构建过程中，如何确保合成规划实例的真实性、多样性与难度可控性构成了核心挑战，具体包括：从抽象现实场景中提炼合理的任务与约束分类体系、设计约束驱动的高效生成流水线、自动验证规划方案的正确性与完整性、以及通过人工审核机制保证数据质量，同时还需平衡实例的难度分布以有效区分不同能力等级的模型，避免数据偏差导致的评估失真。

常用场景

经典使用场景

PlanningBench作为面向大语言模型的规划能力评估基准，其经典使用场景在于衡量模型在复杂文本型规划任务上的综合规划素养。具体而言，研究者通过向模型提供包含目标、约束条件、资源限制、时间窗口、依赖关系、优先级及多目标协调等信息的完整规划问题，要求模型输出可执行且可验证的规划方案。该基准覆盖调度排程、项目生产运营、路径规划、应急响应、资源分配及排班管理等六大规划家族，每个实例均附带验证清单，能够从约束满足度和目标达成度两个维度对模型输出进行量化评价。这一场景特别适用于对比不同规模或架构的大语言模型在耦合约束条件下的规划推理能力，例如比较GPT-4、Llama-3及Claude等模型在时间冲突、资源稀缺及优先级冲突等复合约束下的规划成功率。

解决学术问题

PlanningBench旨在解决大语言模型领域长期存在的规划能力可信评估难题。此前，学术界对模型规划能力的评测多依赖静态的、小规模的手工编写样例，这些样例难以覆盖规划问题的多样性和约束的复杂性，且缺乏可扩展的验证机制。该基准通过约束驱动合成框架，系统性地生成了467个具有已验证正确答案的规划实例，覆盖30余种具体任务类型和多种难度因子，从而为评估模型在耦合约束下的全局规划能力提供了可靠的和可复现的测试集。其意义在于首次将规划问题的评估从局部要求满足提升至完整规划成功的高度，为后续研究模型规划推理的机理分析、训练策略优化及通用规划能力的构建奠定了方法论和数据基础。

实际应用

在实际应用层面，PlanningBench为需要自动化规划能力的各类工业系统提供了模型选择与能力验证的参考基准。例如，在物流与供应链调度中，企业可以借助该基准评估模型在处理多仓库、时间窗口及运输能力约束下的路径规划能力；在紧急响应系统中，可评估模型在资源有限且优先级动态变化场景下的应急调度策略生成质量；在排班与人力资源管理领域，则可验证模型在兼顾合规性、公平性与人员可用性约束下的排班方案生成效果。该基准的约束驱动框架还支持用户根据自身业务场景定制新的任务类型与约束组合，从而直接服务于特定领域规划任务的自动化部署决策。

数据集最近研究

最新研究方向

PlanningBench聚焦于大语言模型在复杂文本规划任务中的能力评估与训练，其核心研究方向在于构建可扩展且可验证的合成规划数据，以检验模型在协调目标、约束、资源、时间窗口、依赖关系及优先级等多重因素时生成可执行计划的能力。该数据集通过约束驱动的合成管道，将真实规划场景抽象为六大任务族系与三十余种具体任务类型，涵盖调度排程、生产运营、路径规划、应急响应、资源分配及轮班管理等领域，尤其关注耦合约束下的全局计划成功率而非局部需求满足。这一框架不仅服务于模型评估，更为训练具备结构化推理能力的LLM提供了高质量的合成数据基础，推动了人工智能在自动化决策与智能规划方向的前沿探索。