osunlp/TravelPlanner

TravelPlanner是一个用于评估语言代理在工具使用和复杂规划中能力的基准数据集，特别是在多约束条件下的旅行规划。数据集包含1,225个查询，分为训练集、验证集和测试集。训练集包含5个查询及其对应的人类注释计划，验证集包含180个查询，测试集包含1,000个查询。每个查询涉及交通、餐饮、景点和住宿等多方面的规划。

TravelPlanner is a benchmark dataset for evaluating the capabilities of language agents in tool usage and complex planning, with a specific focus on travel planning under multiple constraints. The dataset consists of 1,225 queries, which are split into training, validation, and test subsets. The training subset contains 5 queries along with their corresponding human-annotated plans, the validation subset includes 180 queries, and the test subset has 1,000 queries. Each query involves multi-faceted planning covering transportation, dining, tourist attractions, and accommodation.

原始信息汇总

数据集概述

名称: TravelPlanner

目的: 用于评估语言代理在工具使用和多约束条件下的复杂规划能力。

详细信息: 具体细节可参考相关论文。

搜集汇总

数据集介绍

构建方式

TravelPlanner数据集专为评估语言代理在多约束条件下的工具使用与复杂规划能力而设计。该数据集共包含1,225个查询，其构建过程精心设计了旅行天数与硬约束条件的组合，以测试代理在复杂规划广度和深度上的表现。数据集划分为训练集、验证集和测试集：训练集包含5个查询及其对应的人工标注计划，形成45个查询-计划对，为上下文学习提供示范；验证集由每组20个查询构成，共计180个查询，不含人工标注计划；测试集则包含1,000个随机分布的查询，仅提供难度级别、天数和自然语言查询字段，以避免数据污染。

特点

该数据集的核心特点在于其多维度的约束设计与结构化记录布局。每个查询均涵盖出发城市、目的地、旅行天数、访问城市数量、具体日期、参与人数及本地硬约束（如房屋规则、饮食、房型和交通方式）等关键字段。难度级别由硬约束数量决定，确保了评估任务的渐进式挑战。此外，数据集还提供了人工标注的详细旅行计划与参考信息，支持“仅规划”模式，使得对语言代理的评估更加全面和严谨。

使用方法

使用TravelPlanner数据集时，研究者可依据任务需求选择相应的数据分割。训练集适用于少样本学习或上下文学习场景，其中的人工标注计划可作为示范输入。验证集可用于模型调优或中间评估，而测试集则用于最终性能评测，其随机分布特性保障了评估的公平性。数据以CSV格式存储，可通过HuggingFace Datasets库便捷加载，支持文本生成与文本到文本生成任务。研究者应引用相关论文以确保学术规范，并可根据字段定义自定义规划任务的输入输出格式。

背景与挑战

背景概述

在人工智能与自然语言处理领域，语言代理在复杂现实场景中的规划能力一直是研究的前沿热点。TravelPlanner数据集由俄亥俄州立大学、复旦大学及微软研究院等机构的研究人员于2024年联合创建，旨在系统评估语言代理在多约束条件下的工具使用与规划能力。该数据集聚焦于旅行规划这一典型复合任务，要求代理在给定查询下，生成涵盖交通、每日餐饮、景点及住宿的完整行程方案，其核心研究问题在于检验语言模型能否在多重硬约束（如地方规则、菜系限制、房间类型及交通方式）下实现精准推理与决策。TravelPlanner包含1225个精心设计的查询，按难度层级划分，为语言代理的规划能力提供了标准化评估基准，对推动智能体在工具增强与复杂任务求解领域的发展具有重要影响。

当前挑战

TravelPlanner数据集所面对的挑战体现在两个层面。在领域问题层面，语言代理需解决多约束耦合下的复杂规划难题，包括如何协调跨天数、跨城市的交通衔接与住宿选择，如何在满足硬约束的同时兼顾常识合理性（如景点开放时间、餐饮顺序），以及如何从海量候选方案中高效检索并组合最优解。在数据集构建过程中，挑战尤为突出：人工标注的规划方案需严格确保每条计划均符合所有约束条件，这要求标注者具备领域知识并反复校验；此外，测试集的设计需避免数据污染，仅提供层级、天数及自然语言查询字段，而隐藏参考信息与人工方案，从而确保评估的公正性与可靠性。

常用场景

经典使用场景

在自然语言处理与智能体研究的交汇领域，TravelPlanner数据集作为一项精心设计的基准测试，专用于评估语言智能体在多约束条件下的工具调用与复杂规划能力。该数据集包含1,225个查询，覆盖交通、餐饮、景点与住宿等多维度规划任务，通过设置不同天数与硬约束数量来分层测试智能体在广度与深度上的规划表现。研究者通常利用其训练集中的45个人工标注计划进行上下文学习，并在验证与测试集上衡量模型生成综合旅行方案的准确性与合理性，从而推动语言模型从简单对话向真实世界复杂决策的跨越。

衍生相关工作

TravelPlanner的发布催生了一系列富有影响力的衍生研究，主要集中在约束增强型规划与工具增强型推理两大方向。例如，后续工作通过引入动态环境反馈机制扩展了原始基准，提出‘交互式旅行规划’任务，要求智能体在规划过程中实时应对航班取消或景点关闭等突发变化。另有研究借鉴其多约束形式化方法，构建了跨领域的‘通用规划评估套件’，将交通、物流与活动调度统一到可比较的框架下。在模型层面，基于TravelPlanner的失败案例分析促使了‘分层反思规划’架构的提出，该架构通过将全局约束分解为每日子目标，显著提升了长周期计划的成功率，并成为后续许多复杂推理系统的设计基础。

数据集最近研究

最新研究方向

在大语言模型与工具增强智能体交叉融合的前沿领域，TravelPlanner数据集正推动着复杂约束下多步骤规划能力的系统性评估。该基准聚焦于真实世界旅行规划场景，要求语言智能体在交通、餐饮、住宿等多维度约束中生成完整行程，其研究热点集中于探索大模型在长链条推理、动态约束满足与多目标优化中的表现边界。伴随具身智能与自主决策技术的发展，TravelPlanner通过分层难度设计与人工标注参照，为衡量模型工具调用、常识融合及反事实规划能力提供了标准化实验场，对推动语言智能体从简单问答向现实决策任务演进具有关键里程碑意义。