IPC-2023 Total-Order Track

IPC-2023 Total-Order Track数据集由2023年国际规划竞赛（IPC-2023）的分层任务网络（HTN）规划赛道提供，包含22个领域，每个领域有数十个问题。该数据集旨在为分层规划（HP）领域的研究提供标准化的评估基准，特别是用于评估基于大语言模型（LLM）的规划方法的性能。数据集的内容涵盖了从问题定义到计划生成的多个阶段，数据来源为IPC-2023的官方竞赛数据。该数据集的创建过程基于竞赛中的实际规划问题，旨在解决分层规划领域中LLM集成方法的性能评估问题，并为未来的研究提供基础参考。The IPC-2023 Total-Order Track dataset is provided by the Hierarchical Task Network (HTN) Planning Track of the 2023 International Planning Competition (IPC-2023), consisting of 22 domains, with dozens of problems in each domain. This dataset is designed to serve as a standardized evaluation benchmark for the Hierarchical Planning (HP) field, particularly for assessing the performance of planning methods based on Large Language Models (LLM). The content of the dataset covers multiple stages from problem definition to plan generation, and its data source is the official competition data of IPC-2023. The creation process of this dataset is based on actual planning problems from the competition, aiming to address the performance evaluation issues of LLM integration methods in the hierarchical planning field, and to provide a foundational reference for future research.

搜集汇总

数据集介绍

构建方式

IPC-2023 Total-Order Track 数据集的构建基于2023年国际规划竞赛（IPC-2023）的层次任务网络（HTN）赛道，特别是其全序规划（Total-Order）子赛道。该数据集包含22个领域，每个领域包含数十个规划问题，旨在为层次规划（HP）领域的研究提供标准化的评估基准。数据集的构建过程严格遵循IPC-2023的竞赛规则，确保了问题的多样性和复杂性，能够有效评估不同规划算法的性能。此外，数据集还提供了详细的领域描述和问题定义，便于研究人员进行实验和对比分析。

特点

IPC-2023 Total-Order Track 数据集的特点在于其专注于层次规划问题，特别是全序规划任务。该数据集涵盖了多个领域的规划问题，从简单的任务到复杂的多层次规划场景，能够全面评估规划算法的性能。数据集中的问题设计充分考虑了层次规划的特点，如任务分解、层次结构的高效利用等。此外，数据集还提供了详细的评估指标，包括计划可行性、计划正确性、分解可行性和分解正确性，能够帮助研究人员深入分析算法的优缺点。

使用方法

IPC-2023 Total-Order Track 数据集的使用方法主要包括以下几个步骤：首先，研究人员需要下载数据集并熟悉其结构和领域描述。其次，可以根据研究目标选择合适的规划算法或模型进行实验。在实验过程中，可以使用数据集提供的评估工具对生成的计划进行验证，确保其符合问题的要求。最后，通过对比不同算法在数据集上的表现，研究人员可以评估其性能并提出改进方案。此外，数据集还可以用于探索大语言模型（LLMs）在层次规划中的应用，通过结合LLMs的推理能力和规划算法的结构化处理能力，进一步提升规划系统的性能。

背景与挑战

背景概述

IPC-2023 Total-Order Track 数据集由西班牙格拉纳达大学及其附属的安达卢西亚数据科学与计算智能研究所（DaSCI）的研究团队于2025年发布，旨在推动大语言模型（LLMs）在分层规划（HP）领域的应用。该数据集基于2023年国际规划竞赛（IPC-2023）的分层任务网络（HTN）赛道，专注于解决分层规划中的核心问题，即如何利用层次化知识提升规划性能。通过提供一个标准化的基准数据集，研究团队希望为未来的LLM与HP集成方法提供评估工具，并推动这一领域的研究进展。该数据集的发布标志着LLMs在自动化规划领域应用的进一步扩展，尤其是在分层规划这一尚未充分探索的子领域。

当前挑战

IPC-2023 Total-Order Track 数据集面临的主要挑战包括两个方面。首先，在领域问题方面，分层规划本身具有较高的复杂性，要求模型能够处理多层次的任务分解与规划，而LLMs在生成正确且层次化的规划方案时表现有限，尤其是在处理复杂任务时，其生成的计划往往缺乏语义一致性和可执行性。其次，在数据集构建过程中，研究团队面临如何将LLMs与现有分层规划方法有效结合的挑战。尽管LLMs在自然语言处理和其他推理任务中表现出色，但其在规划任务中的应用仍处于初步阶段，尤其是在缺乏改进策略的情况下，LLMs的表现远低于传统规划器。此外，数据集的标准化和评估框架的设计也需兼顾传统规划器的性能与LLMs的生成能力，这对数据集的构建提出了更高的要求。

常用场景

经典使用场景

IPC-2023 Total-Order Track数据集在分层规划（HP）领域中，主要用于评估和比较基于大语言模型（LLMs）的规划方法的性能。该数据集通过提供标准化的基准测试框架，帮助研究人员验证不同LLM集成策略在分层任务网络（HTN）规划中的有效性。通过该数据集，研究者能够系统地分析LLMs在问题定义、计划生成和后处理等规划生命周期中的表现，从而推动LLMs在自动化规划领域的深入应用。

实际应用

在实际应用中，IPC-2023 Total-Order Track数据集为开发基于LLMs的智能规划系统提供了重要支持。例如，在机器人任务规划、物流调度和智能制造等领域，该数据集可用于训练和验证LLMs在复杂环境中的规划能力。通过结合LLMs的推理能力和分层规划的高效性，研究人员能够设计出更智能、更灵活的自动化系统，从而提升任务执行的效率和准确性。此外，该数据集还为工业界和学术界提供了一个共享的研究平台，促进了跨领域的合作与创新。

衍生相关工作

IPC-2023 Total-Order Track数据集催生了一系列关于LLMs在分层规划中应用的经典研究。例如，基于该数据集的研究提出了LLMs在规划过程中的多种角色分类，包括问题定义、计划生成和后处理等。此外，研究者还开发了多种LLM改进策略，如知识增强和多轮调用，以提升LLMs在复杂规划任务中的表现。这些工作不仅丰富了LLMs在自动化规划领域的理论框架，还为后续研究提供了宝贵的实验数据和参考模型。