Open Grounded Planning

Open Grounded Planning数据集是由中国科学院软件研究所构建，旨在评估大型语言模型在开放域环境中的规划能力。该数据集涵盖日常生活、工具使用和机器人控制等多个领域，包含超过76,000个任务，每个任务都有详细的任务目标、约束条件和候选行动集。数据集的创建过程涉及从WikiHow等来源收集原始数据，并将其转换为统一的格式。该数据集主要用于研究如何使AI系统在开放和可执行的行动集中生成可执行的计划，解决AI在复杂任务规划中的挑战。The Open Grounded Planning Dataset was developed by the Institute of Software, Chinese Academy of Sciences, aiming to evaluate the planning capabilities of large language models in open-domain environments. This dataset covers multiple domains such as daily life, tool use, and robot control, and contains more than 76,000 tasks, each with detailed task objectives, constraints, and candidate action sets. The dataset creation process involves collecting raw data from sources including WikiHow and converting it into a unified format. This dataset is primarily used to research how to enable AI systems to generate executable plans from open and executable action sets, addressing the challenges faced by AI in complex task planning.

搜集汇总

数据集介绍

构建方式

Open Grounded Planning数据集的构建方式涉及从三个主要领域收集数据，包括日常生活、工具使用和机器人沙盒场景。所有收集的数据都被转换成统一的格式，包括任务目标、约束条件、黄金步骤和候选动作集。在此基础上，开发了一个基准来评估各种模型和方法在Open Grounded Planning任务中的性能。

特点

Open Grounded Planning数据集的特点在于其开放性和可执行性。它要求模型在开放的动作集中生成可执行的计划，并能够在广泛的领域中进行规划。数据集涵盖了各种任务和动作，为LLMs在开放领域中的规划能力提供了挑战。

使用方法

Open Grounded Planning数据集的使用方法包括基准评估和模型训练。基准评估涉及使用不同的指标来评估模型生成计划的可执行性和质量。模型训练涉及使用数据集中的任务和动作来训练模型，以提高其在开放领域中的规划能力。

背景与挑战

背景概述

大型语言模型（LLM）的出现引发了人们对其在人类-like规划中应用的兴趣。现有的基于LLM的规划工作要么专注于利用LLM固有的语言生成能力来生成free-style计划，要么采用强化学习方法来学习在受限环境中的有限动作集内的决策制定。然而，这两种方法在开放性和可执行性要求之间都存在显著差异。在这篇论文中，我们提出了一个新的规划任务——开放接地规划。开放接地规划的主要目标是要求模型基于可变动作集生成可执行的计划，从而确保生成计划的可执行性。为此，我们建立了一个跨越广泛领域的开放接地规划基准。然后，我们测试了当前最先进的LLM以及五种规划方法，发现现有的LLM和方法仍然难以应对开放领域接地规划带来的挑战。本文的结果定义和建立了开放接地规划的基准数据集，并为LLM-based规划的未来挑战和方向提供了启示。

当前挑战

开放接地规划相关的挑战包括： 1) 解决的领域问题：开放接地规划旨在解决LLM在开放领域中的接地规划问题，即要求模型能够从开放的动作集中选择合适的动作生成可执行的计划。 2) 构建过程中遇到的挑战：构建开放接地规划基准数据集的过程中，需要收集来自不同领域的多样化数据，并将其转化为统一的格式，包括任务目标、约束条件、黄金步骤和候选动作集。此外，还需要开发一个自动评估程序来评估不同模型和方法在开放接地规划任务中的性能。

常用场景

经典使用场景

Open Grounded Planning 数据集的构建旨在解决大型语言模型（LLMs）在生成可执行计划时的挑战。该数据集的经典使用场景包括为各种开放领域任务生成可执行的计划，例如日常生活、工具使用和机器人场景。这要求模型能够从开放的动作库中选择合适的动作，并确保生成的计划是可执行的。Open Grounded Planning 数据集为研究人员提供了一个基准，用于评估和改进 LLMs 在开放领域规划任务中的表现。

实际应用

Open Grounded Planning 数据集在实际应用中具有广泛的应用前景。例如，在智能助手和机器人领域，Open Grounded Planning 可以帮助这些系统更好地理解和执行用户的指令，从而提高交互效率和用户体验。此外，该数据集还可以用于自动驾驶汽车和智能控制系统，使这些系统能够更好地规划和执行复杂的任务。Open Grounded Planning 数据集的应用将有助于推动人工智能技术的发展，并为人类生活带来更多便利。

衍生相关工作

Open Grounded Planning 数据集的提出和构建为 LLMs 在开放领域规划任务中的研究提供了新的思路和方向。在此基础上，研究人员可以进一步探索和改进 LLMs 的规划能力，例如通过引入参数化的动作库和更精确的评估指标。此外，Open Grounded Planning 数据集还可以促进 LLMs 在其他领域的应用，例如智能问答、文本生成和机器翻译等。Open Grounded Planning 数据集的提出和应用将为人工智能技术的发展带来新的机遇和挑战。