NLMap

该数据集名为NLMap，它是一个开放词汇的场景表示，可查询，并将上下文信息整合到LLM规划器中，以增强现实世界中机器人任务的执行能力。NLMap让机器人无需依赖固定的物体或选项列表，就能执行涉及未知物体的无数任务。该数据集涵盖了多种任务和物体操作，适用于涉及自然语言指令的实际机器人任务。

This dataset is named NLMap, which is an open-vocabulary, queryable scene representation that integrates contextual information into LLM planners to enhance the execution of real-world robotic tasks. NLMap enables robots to perform countless tasks involving unknown objects without relying on fixed object or option lists. This dataset covers diverse tasks and object manipulation operations, and is applicable to real-world robotic tasks involving natural language instructions.

搜集汇总

背景与挑战

背景概述

NLMap是一个开放词汇可查询场景表示框架，用于增强大型语言模型在机器人任务规划中的上下文感知能力。它通过视觉语言模型建立场景表示，并利用LLM解析指令和查询对象信息，使机器人能够处理未预定义的对象和选项，从而支持更灵活的真实世界操作。该框架可与现有规划器（如SayCan）集成，解决先前方法因缺乏场景基础而导致的局限性。