Planetarium

Planetarium数据集由布朗大学计算机科学系创建，旨在评估语言模型将自然语言描述转换为规划领域定义语言（PDDL）的能力。该数据集包含132,037个文本到PDDL的配对，涉及13个不同难度的任务。数据集的创建过程包括定义PDDL等价算法和场景图转换，确保生成的PDDL代码的正确性。Planetarium数据集主要应用于解决从自然语言到结构化规划语言的转换问题，特别是在需要精确和自动检查代码生成正确性的场景中。

The Planetarium dataset was developed by the Department of Computer Science at Brown University, aiming to evaluate the capability of language models to translate natural language descriptions into Planning Domain Definition Language (PDDL). This dataset contains 132,037 text-to-PDDL pairs, encompassing tasks across 13 distinct difficulty levels. The dataset's creation process involved defining PDDL equivalence algorithms and scene graph transformations to ensure the correctness of the generated PDDL code. The Planetarium dataset is primarily utilized to address the problem of converting natural language into structured planning languages, particularly in scenarios requiring precise and automated verification of code generation correctness.

原始信息汇总

planetarium🪐

Planetarium🪐 是一个用于评估大型语言模型（LLMs）将自然语言描述的规划问题转换为 PDDL 的数据集和基准。我们开发了一种使用图同构比较 PDDL 问题描述的稳健方法。

安装

要安装 planetarium 包，可以使用以下命令： bash pip install git+https://github.com/BatsResearch/planetarium.git

基本用法

要评估 PDDL 问题描述，可以使用 planetarium.evaluate 模块： python import planetarium ... planetarium.evaluate(gt_pddl_str, pred_pddl_str)

支持的领域包括 blocksworld 和 gripper。

数据集

数据集的主页可以在这里找到：planetarium。

以下是如何加载数据集的示例： python from datasets import load_dataset

dataset = load_dataset("BatsResearch/planetarium")

dataset["test"] 是论文中使用的主要测试集。您可以在此集上进行评估以重现我们的结果。

您可以通过运行以下命令来重现数据集、分割和报告： bash python dataset_generator.py -c dataset_config.yaml

通过修改 dataset_config.yaml 文件，您可以更改数据集分割、样本数量并生成更多示例。

数据集报告

以下是数据集中 PDDL 问题类型的摘要：

总问题数量：$132,037$。

抽象性分割

Init	Goal	blocksworld	gripper
abstract	abstract	$23,144$	$10,632$
abstract	explicit	$23,086$	$9,518$
explicit	abstract	$23,087$	$10,313$
explicit	explicit	$23,033$	$9,224$

大小分割（地面真值中的命题数量）

Num. of Propositions	blocksworld	gripper
$0$ - $20$	$1,012$	$379$
$20$ - $40$	$10,765$	$2,112$
$40$ - $60$	$50,793$	$9,412$
$60$ - $80$	$26,316$	$25,346$
$80$ - inf	$3,464$	$2,438$

工作原理

Planetarium🪐 通过首先将两个 PDDL 问题描述转换为图表示来进行比较。图帮助我们更好地检测和操作某些对象和命题之间的关系。接下来，我们通过添加“平凡”命题（在问题描述中不存在但在满足该描述的任何状态中必须存在的命题）来构建“完全指定”的图表示。最后，我们使用图同构来比较两个 PDDL 问题描述的完全指定图表示，无论是比较整个问题图还是单独的初始和目标场景图。这使我们能够在不需要运行规划器的情况下检查自然语言描述到 PDDL 的转换的正确性。

搜集汇总

数据集介绍

构建方式

Planetarium数据集的构建旨在评估语言模型将自然语言描述的规划任务翻译成结构化规划语言的能力。该数据集基于国际规划竞赛（IPC）的Blocks World和Gripper领域，包含了132,037个文本到PDDL对的实例。数据集的构建涉及两个维度：抽象程度和规模。抽象程度分为显式和抽象两种，规模则根据PDDL问题中命题的数量来衡量。每个任务都经过精心设计，以确保其能够反映不同难度的规划问题。

特点

Planetarium数据集的特点在于其严谨的评估方法和对语言模型翻译自然语言描述到PDDL能力的关注。数据集涵盖了广泛的规划任务，包括Blocks World和Gripper领域的多个子任务，如堆叠、拆卸、移动等。这些任务在抽象程度和规模上有所不同，从而为评估语言模型在不同场景下的表现提供了多样化的数据。此外，数据集还包含了相应的PDDL代码和自然语言描述，方便研究人员进行实验和评估。

使用方法

使用Planetarium数据集时，首先需要了解数据集的结构和任务类型。然后，可以选择合适的语言模型进行评估。评估过程通常包括以下几个步骤：1）将自然语言描述输入到语言模型中，生成PDDL代码；2）使用PDDL解析器验证生成的代码是否语法正确；3）使用专门的规划器检查生成的PDDL代码是否可解；4）最后，使用PDDL等价算法评估生成的PDDL代码与真实PDDL代码的语义等价性。通过这些步骤，研究人员可以全面评估语言模型在翻译自然语言描述到PDDL方面的表现。

背景与挑战

背景概述

Planetarium数据集的研究背景源于对自然语言描述的规划任务进行结构化规划语言转换的探索。近年来，许多研究工作探讨了使用语言模型解决规划问题，其中一条研究线路专注于将自然语言描述的规划任务翻译成结构化规划语言，例如规划领域定义语言（PDDL）。尽管这种方法前景广阔，但准确衡量生成的PDDL代码的质量仍然面临重大挑战。Planetarium数据集旨在评估语言模型从自然语言描述的规划任务生成PDDL代码的能力。该数据集由布朗大学计算机科学系的Max Zuo、Francisco Piedrahita Velez、Xiaochen Li、Michael L. Littman和Stephen H. Bach等研究人员创建。该数据集的发布对于推动语言模型在规划任务中的应用具有重要意义，并为相关领域的研究提供了重要的基准数据。

当前挑战

Planetarium数据集面临的挑战主要包括：1) 准确衡量生成的PDDL代码的质量。现有的评估方法通常使用规划验证器检查问题是否可以用规划器解决，但这不足以确定生成的PDDL代码是否与自然语言描述的任务相一致。2) 构建过程中遇到的挑战。现有的评估集通常具有与地面真实PDDL密切相似的规划任务的自然语言描述，这降低了任务的挑战性。为了弥补这一差距，Planetarium引入了一个严格的PDDL等价算法，通过灵活地将其与地面真实PDDL进行比较，严格评估语言模型生成的PDDL代码的正确性。此外，数据集构建过程中还面临如何确保生成的PDDL代码与自然语言描述的任务相一致，以及如何评估不同复杂度的规划任务等挑战。

常用场景

经典使用场景

Planetarium数据集主要用于评估语言模型将自然语言描述的计划任务翻译成结构化计划语言，如PDDL（规划领域定义语言）的能力。该数据集包含132,037个文本到PDDL的配对，跨越13个不同难度等级的任务。通过对语言模型生成的PDDL代码与真实PDDL进行比较，Planetarium可以评估模型的翻译准确性，包括语法解析能力、可解决问题性和语义正确性。

衍生相关工作

Planetarium的发布促进了相关研究的发展，包括对语言模型生成PDDL代码能力的深入评估、对PDDL等价算法的优化和扩展、以及对不同任务和领域下语言模型性能的比较研究。这些工作进一步推动了语言模型在规划任务中的应用，并为评估和改进语言模型的能力提供了重要的参考和指导。

数据集最近研究

最新研究方向

Planetarium数据集的提出，为评估语言模型在将自然语言描述的规划任务转换为结构化规划语言（如PDDL）方面的能力提供了一个严格的基准。该数据集通过创建一个PDDL等价性算法，能够灵活地比较语言模型生成的PDDL代码与真实PDDL之间的正确性。此外，Planetarium数据集包含132,037个文本到PDDL的配对，跨越13个不同难度的任务。这些研究揭示了语言模型在生成语义正确的结构化规划语言描述方面的挑战，并为未来研究和开发LLMs提供了新的方向。

相关研究论文

• Planetarium: A Rigorous Benchmark for Translating Text to Structured Planning Languages

  布朗大学计算机科学系 · 2024年