PASTURE

PASTURE数据集是由哥伦比亚大学创建的，用于评估语言驱动的零样本目标导航任务。该数据集包含2520个任务，旨在测试机器人在没有特定训练的情况下，根据自然语言描述找到目标物体的能力。数据集涵盖了寻找不常见物体、基于空间和外观属性的物体以及隐藏物体等多种情况，以全面评估机器人的导航能力。

The PASTURE dataset, developed by Columbia University, is designed to evaluate language-driven zero-shot object navigation tasks. It comprises 2520 tasks intended to test robots' ability to locate target objects based on natural language descriptions without specific prior training. The dataset covers diverse scenarios including searching for uncommon objects, identifying objects based on spatial and appearance attributes, and finding hidden objects, so as to comprehensively assess robots' navigation capabilities.

搜集汇总

数据集介绍

构建方式

在机器人导航领域，PASTURE数据集的构建旨在评估语言驱动零样本物体导航（L-ZSON）能力。该数据集基于ROBOTHOR验证场景，通过引入三类新颖任务来扩展传统基准：首先，添加了12个罕见物体（如“扎染冲浪板”），以测试模型对非常见物体的识别能力；其次，设计了基于外观和空间属性的描述任务，例如“绿色苹果”或“咖啡桌旁的植物”，以考察模型对语言细节的利用；最后，创建了隐藏物体任务，如“床下的杯子”，以评估模型在物体不可见时的推理能力。数据集的构建过程包括对15个房间进行三次变体改造，涵盖2520个导航任务，确保了任务的多样性和挑战性。

特点

PASTURE数据集的核心特点在于其专注于语言驱动的零样本导航场景，突破了传统物体导航数据集的局限。该数据集不仅包含罕见物体，还通过外观描述、空间关系及隐藏物体任务，全面考察模型对自然语言指令的理解与执行能力。此外，数据集中引入了干扰物体，例如在寻找“红色苹果”时同时放置绿色苹果，增加了任务的复杂性。这些特点使得PASTURE能够有效评估开放词汇模型在真实世界场景中的泛化性能，为语言与视觉结合的导航研究提供了丰富的测试平台。

使用方法

使用PASTURE数据集时，研究者通常部署基于开放词汇模型的导航基线，如CLIP on Wheels（CoW）框架。该方法无需在目标域进行导航训练，直接利用深度传感器构建环境地图，并结合探索策略（如前沿探索）与物体定位模块（如CLIP梯度相关性或OWL-ViT检测器）来执行任务。评估时，采用标准导航指标，包括成功率（SR）和路径长度加权成功率（SPL），以衡量模型在语言指令下的导航效率。数据集支持多场景测试，有助于分析模型在罕见物体、属性描述及隐藏物体等任务中的表现，推动零样本导航技术的发展。

背景与挑战

背景概述

PASTURE基准数据集于2022年由哥伦比亚大学与华盛顿大学的研究团队联合创建，旨在推动语言驱动零样本目标导航（L-ZSON）领域的发展。该数据集构建于ROBOTHOR仿真平台之上，核心研究聚焦于如何使智能体仅依据自然语言描述，在未经特定场景或目标训练的前提下，自主探索并定位目标物体。PASTURE通过引入罕见物体、基于属性与空间关系的描述以及隐藏物体等复杂任务，突破了传统目标导航数据集中在固定类别与显式标注上的局限，为评估开放词汇模型在具身智能任务中的零样本泛化能力提供了关键基准，显著拓展了机器人自然语言交互与场景理解的研究边界。

当前挑战

PASTURE数据集致力于解决语言驱动零样本目标导航这一核心领域问题，其首要挑战在于智能体需精准理解并利用包含外观、空间关系及隐藏参照的自然语言描述，在复杂环境中区分干扰物并定位目标，这对开放词汇模型的语义细粒度感知与推理提出了极高要求。在数据集构建过程中，研究团队面临多重挑战：一是需在仿真环境中系统性地设计并集成多样化的语言描述任务，确保其语义准确性与任务复杂性；二是需协调物体属性标注、空间关系定义与场景修改，以构建包含干扰物与隐藏目标的对抗性评估环境；三是需保证数据集的规模与平衡性，使其能够全面、公正地评估模型在零样本设定下的泛化性能与失败模式。

常用场景

经典使用场景

在具身人工智能领域，PASTURE数据集被广泛用于评估语言驱动零样本物体导航（L-ZSON）算法的性能。该数据集通过构建包含罕见物体、属性描述物体及隐藏物体的复杂室内场景，为研究者提供了一个标准化的测试平台。经典使用场景涉及智能体在仿真环境中，仅依据自然语言描述（如“绿色苹果”或“床下的杯子”）自主探索并定位目标物体，而无需在特定物体或场景上进行导航训练。这一场景深刻反映了现实世界中机器人需应对未知环境和多样化任务的挑战。

衍生相关工作

围绕PASTURE数据集，学术界衍生了一系列经典研究工作，主要集中在改进开放词汇模型在具身任务中的适应性。例如，CLIP on Wheels（CoW）框架将CLIP等开放词汇模型与经典探索策略结合，实现了无需导航训练的零样本物体导航。后续研究在此基础上，进一步探索了基于梯度显著性的物体定位、多模态检测器（如OWL-ViT和MDETR）的集成，以及学习型探索策略与启发式前沿探索的对比。这些工作不仅深化了对开放词汇模型在导航任务中优势与局限的理解，也促进了仿真到现实迁移、隐藏物体推理等新兴方向的发展。

数据集最近研究

最新研究方向

在具身人工智能领域，PASTURE数据集作为语言驱动零样本物体导航（L-ZSON）的基准，正推动着开放词汇模型在机器人导航任务中的前沿探索。该数据集通过引入罕见物体、基于外观与空间属性的描述以及隐藏物体定位等复杂任务，挑战了传统固定类别导航模型的局限性。当前研究聚焦于如何将CLIP等开放词汇模型高效适配于具身环境，无需领域特定训练即可实现零样本推理，其中CLIP on Wheels（CoW）框架通过结合经典探索策略与开放词汇目标定位模块，展现了在跨域部署中的潜力。这一方向不仅促进了仿真到真实场景的迁移学习研究，也为多模态理解与机器人自主交互的融合提供了新的实验平台。

相关研究论文

• CoWs on Pasture: Baselines and Benchmarks for Language-Driven Zero-Shot Object Navigation

  哥伦比亚大学 · 2022年