PARTNR

PARTNR是一个用于在Habitat模拟器中解决人机协作或机器人指令跟随任务的基准数据集。它包括了用于生成数据集的代码库，并提供了使用大型语言模型（LLM）作为基线的规划器。

PARTNR is a benchmark dataset for solving human-robot collaboration or robot instruction following tasks in the Habitat Simulator. It includes a codebase for dataset generation, and provides a baseline planner that utilizes Large Language Models (LLMs).

原始信息汇总

PARTNR 数据集概述

数据集简介

PARTNR 是一个用于在具身多智能体任务中进行规划和推理的基准数据集。该数据集包含在 Habitat 模拟器中运行的指令，并实现了基于大型语言模型（LLM）的规划器作为基线。

数据集内容

• Agent: 代表机器人或人类，能够在环境中执行动作。
• Tools: 代表使智能体能够感知或作用于环境的抽象。
• Planner: 代表集中式和分散式规划器。
• LLM: 包含代表 Llama 和 GPT API 的抽象。
• WorldGraph: 包含一个分层的世界图，表示房间、家具、物体。
• Perception: 包含一个模拟的感知管道，将局部检测结果发送到世界模型。
• Examples: 包含演示和评估程序，用于展示或分析规划器的性能。
• EvaluationRunner: 代表运行规划器的抽象。
• Conf: 包含所有类的 hydra 配置文件。
• Utils: 包含代码库中所需的各种实用方法。
• Tests: 包含单元测试。

数据集结构

• habitat-llm: 包含智能体、工具、规划器、LLM、世界图、感知模块等核心组件。
• scripts: 包含用于分析和重放人机交互轨迹的脚本，以及用于 PARTNR 任务的可视化和注释工具。

数据集使用

• 安装: 参考 INSTALLATION.md 进行安装。
• 快速启动: 提供了多种智能体配置的基线，可通过提供的配置文件运行。
• 自定义指令: 支持运行自定义指令。
• OpenAI 后端: 支持使用 OpenAI 的聊天模型作为 LLM 后端。
• 技能: 支持使用神经网络技能进行机器人操作。

数据集评估

• 结果计算: 使用 scripts/read_results.py 脚本检查运行进度和结果。
• 测试集: 提供了测试数据集可运行性和初始步骤成功率的命令。

数据集扩展

• 扩展环境: 提供了关于添加新智能体、工具和自定义动作的详细文档。

引用

如果使用该数据集或代码库进行研究，请引用 PARTNR 论文。

搜集汇总

数据集介绍

构建方式

PARTNR数据集的构建基于Habitat模拟器，通过大型语言模型（LLM）生成多智能体任务的规划和推理数据。该数据集的核心抽象包括Agent、Planner、Tool和Skill，这些抽象使得智能体能够在模拟环境中执行自由形式的自然语言指令。数据集的生成过程涉及使用LLM来创建任务描述，并通过模拟感知管道将环境状态与任务需求相结合，最终形成一个包含多智能体协作任务的基准数据集。

特点

PARTNR数据集的显著特点在于其多智能体任务的复杂性和多样性，涵盖了从集中式到分散式的多种规划策略。数据集中的任务设计旨在测试智能体在复杂环境中的感知、规划和执行能力，同时支持自定义指令和多种LLM后端的使用。此外，PARTNR还提供了详细的评估工具和可视化功能，便于研究人员对智能体的表现进行深入分析。

使用方法

使用PARTNR数据集时，用户可以通过提供的配置文件快速启动不同类型的智能体和规划器。例如，用户可以选择单智能体或多智能体的零样本反应摘要模型，并通过指定LLM后端（如Llama或OpenAI）来执行任务。数据集支持多种数据分割，用户可以根据需求选择不同的数据集进行训练或验证。此外，PARTNR还提供了自定义指令的功能，允许用户在模拟环境中测试特定任务的表现。

背景与挑战

背景概述

PARTNR数据集由Matthew Chang等研究人员于2024年创建，旨在为具身多智能体任务中的规划与推理提供一个基准。该数据集的核心研究问题是如何使智能体在Habitat模拟器中遵循自由形式的自然语言指令，并通过大型语言模型（LLM）进行规划。PARTNR不仅推动了多智能体系统在复杂环境中的协同工作研究，还为具身智能体的行为规划与决策提供了新的测试平台。其影响力在于为相关领域的研究者提供了一个标准化的评估框架，促进了具身智能体技术的发展与应用。

当前挑战

PARTNR数据集面临的挑战主要集中在多智能体系统的规划与推理上。首先，如何在复杂环境中实现智能体之间的有效协作，确保任务的顺利执行，是一个亟待解决的问题。其次，数据集的构建过程中，如何生成高质量的自然语言指令，并确保这些指令在不同智能体间的可执行性，也是一大挑战。此外，利用LLM进行规划时，如何处理不确定性及动态环境变化，以提高规划的准确性和鲁棒性，同样是该数据集需要克服的关键问题。

常用场景

经典使用场景

PARTNR数据集的经典使用场景主要集中在具身多智能体任务的规划与推理研究中。该数据集通过Habitat模拟器，使智能体能够遵循自由形式的自然语言指令，进行环境感知和交互。具体应用包括多智能体协作任务的规划、工具选择和技能执行，以及通过大型语言模型（LLM）进行任务规划和决策。

衍生相关工作

基于PARTNR数据集，研究者们开发了多种具身多智能体规划算法和工具，如基于LLM的集中式和分布式规划器、感知模块和世界图模型。这些工作不仅提升了智能体在模拟环境中的表现，还为实际应用中的智能体协作提供了理论支持和技术框架。此外，PARTNR还激发了关于智能体技能学习和自适应规划的研究，进一步扩展了具身智能体的应用领域。

数据集最近研究

最新研究方向

在具身多智能体任务规划与推理领域，PARTNR数据集的最新研究方向主要集中在利用大型语言模型（LLM）进行智能体规划和决策。研究者们致力于开发能够理解和执行自然语言指令的智能体，通过集成感知、规划和执行工具，实现复杂任务的自动化处理。此外，研究还涉及多智能体系统的协同规划，探索如何在分散和集中的规划模式下优化智能体间的协作效率。这些研究不仅推动了智能体在模拟环境中的应用，也为实际场景中的机器人和自动化系统提供了理论支持和技术基础。