ai-habitat/partnr_episodes

PARTNR Episode Datasets是人类与机器人合作规划和推理任务的数据集，包含131991个自动生成的未经验证episode，其中111652个经过人类在环验证。还包括验证集、小规模验证集、用于示例和自动化测试的ci集。此外，还提供了低级别神经网络技能策略的模型权重和预计算的概念图。

PARTNR Episode Datasets are datasets for Planning And Reasoning Tasks in human-Robot collaboration, containing 131991 auto-generated unverified episodes, of which 111652 have been verified by Human-in-the-loop. It also includes validation sets, small-scale validation sets, and ci sets for examples and automated testing. In addition, model weights for low-level neural network skill policies and precomputed concept graphs are provided.

搜集汇总

数据集介绍

构建方式

PARTNR数据集旨在推动人机协作中的规划与推理研究，其构建过程融合了自动化生成与人工验证的双重机制。基于公开的代码框架，研究团队首先通过算法自动生成了131,991个未经验证的交互片段，随后采用人在回路（HitL）的筛选策略，从中提取出111,652个经过人工验证的高质量片段作为训练集。验证集则包含1,000个独立场景的片段，确保泛化性能的评估可靠性。此外，该数据集还配套提供了低层级技能策略的预训练权重、场景概念图以及人机协作轨迹的脱敏记录，形成了从任务生成到执行验证的完整数据生态。

特点

该数据集的核心特点在于其层次化的结构设计与多模态信息的整合。训练集细分为完整验证集、2,000样本子集和403样本微型子集，适配不同规模的研究需求。验证集同样包含369样本的微型版本，便于快速迭代测试。数据生成过程中引入的概念图模块，将场景语义与空间拓扑相结合，为智能体提供结构化的环境认知。同时，技能策略的预训练权重覆盖抓取、放置、导航等基础操作，降低了从数据到具身模型部署的门槛。这些特性使得PARTNR不仅是一个任务数据集，更是一个支持端到端人机协作研究的综合平台。

使用方法

研究者可通过HuggingFace平台直接加载数据集，利用提供的训练/验证划分进行模型训练与评估。对于需要快速原型的场景，推荐使用train_mini或val_mini子集进行算法验证。在模型部署阶段，checkpoints目录中的技能策略权重可直接集成至机器人控制流水线，结合conceptgraphs提供的场景先验知识，实现零样本的任务泛化。HitL数据则可用于分析人类行为模式，优化人机交互策略。所有数据均遵循CC-BY-NC许可协议，适用于非商业研究场景。

背景与挑战

背景概述

PARTNR（Planning And Reasoning Tasks in humaN-Robot collaboration）数据集由Meta AI研究团队于2024年发布，旨在推动人类与机器人协作中的规划与推理研究。该数据集以家庭场景为背景，通过自动生成与人工验证相结合的方式，构建了超过13万个任务片段，涵盖拾取、放置、导航、开门、关门等基础操作技能。其核心研究问题聚焦于如何使机器人理解并执行复杂的人类协作指令，同时兼顾任务的可验证性与多样性。PARTNR的发布为具身智能领域提供了标准化的评估基准，尤其在家庭服务机器人、多模态任务规划与人类反馈学习等方向具有深远影响，成为连接仿真环境与现实应用的重要桥梁。

当前挑战

当前PARTNR数据集面临的核心挑战包括三个方面：首先，在领域问题层面，人类与机器人协作任务高度依赖对自然语言指令的深度语义理解与空间推理，现有模型在处理长时序、多步骤任务时仍存在规划失败与执行偏差，亟需提升复杂任务的泛化能力。其次，构建过程中，自动生成的131991个未验证片段中仅111652个通过人工循环验证，筛选效率与标注一致性构成瓶颈，尤其在开放场景中任务定义的模糊性导致验证标准难以统一。此外，数据集依赖HSSD仿真场景与概念图结构，其迁移至真实物理环境时面临感知噪声、动态物体干扰及人类行为不确定性等挑战，限制了模型的零样本泛化能力。

常用场景

经典使用场景

PARTNR Episode Datasets是面向人类与机器人协作（Human-Robot Collaboration, HRC）领域的高质量基准数据集，其经典使用场景聚焦于评估与训练具身智能体在复杂室内环境中的规划与推理能力。该数据集包含超过13万个自动生成的任务片段，涵盖拾取、放置、导航、开门、关门等基础操作技能，并引入概念图谱（Concept Graphs）作为环境语义表征。研究者可借助这些数据，设计并验证多模态感知-决策-执行框架，尤其适用于探索语言指令理解、任务分解、障碍规避以及动态人机交互中的协同策略。通过提供大规模、多样化的任务情景，该数据集为构建可泛化的机器人协作系统提供了标准化测试平台。

解决学术问题

该数据集有效解决了具身智能研究中任务复杂性不足与评估标准缺失的瓶颈问题。传统基准多聚焦于单一操作或静态场景，难以反映真实人机协作中任务层级嵌套、环境动态变化与人类意图模糊等挑战。PARTNR通过引入分层任务生成流水线（包含人机协同验证环节），系统性地覆盖了从简单指令到长时序多步骤任务的转换关系，使得学术研究能够量化评估智能体在物理交互中的鲁棒性、效率与安全性。其提出的概念图谱结构更将符号推理与感知融合，推动了语义层面任务理解与空间推理的交叉研究，为构建具有常识推理能力的协作机器人提供了关键数据支撑。

衍生相关工作

PARTNR数据集催生了一系列具有影响力的衍生工作，包括基于该数据集的具身智能体规划算法、多模态指令理解模型以及人机协作评估框架。例如，研究者利用其任务生成流水线构建了分层强化学习基线，验证了符号规划与神经策略结合的效率优势。概念图谱模块被后续工作扩展为动态场景图推理方法，用于解决开放世界中的零样本操作问题。此外，HITL数据中的用户行为轨迹启发了交互式模仿学习范式，推动了机器人从人类示范中学习协作策略的研究。这些衍生工作不仅深化了对人机协作本质的理解，也为具身智能领域建立了可比较、可复现的学术基准。