GraSIF (Graph Scenes for Instruction Following)

GraSIF数据集是由MIRAI和Cognitive AI Systems Lab联合创建的指令跟随任务基准，包含514个家庭环境中的操作任务。该数据集整合了来自SayPlan Office、BEHAVIOR-1K和VirtualHome RobotHow的环境数据，专注于移动操作任务，提供明确的自然语言指令以及初始和目标场景图。数据集通过一致的过滤规则构建，确保任务间的可比性，旨在解决动态环境中图场景表示规划方法的评估难题。

The GraSIF dataset is a benchmark for instruction-following tasks jointly created by MIRAI and the Cognitive AI Systems Lab, which contains 514 manipulation tasks in home environments. This dataset integrates environmental data from SayPlan Office, BEHAVIOR-1K and VirtualHome RobotHow, focuses on mobile manipulation tasks, and provides explicit natural language instructions as well as initial and target scene graphs. Constructed with consistent filtering criteria to ensure comparability across tasks, the dataset aims to address the challenge of evaluating graph scene representation-based planning methods in dynamic environments.

搜集汇总

数据集介绍

构建方式

在具身人工智能领域，动态环境下的指令跟随任务对场景表示提出了更高要求。GraSIF数据集通过整合多个权威仿真环境的数据源构建而成，其构建过程体现了严谨的筛选与标准化流程。该数据集从SayPlan Office、BEHAVIOR-1K和VirtualHome RobotHow三个来源提取了514个移动操作任务，每个任务均包含明确的自然语言指令以及初始与目标场景图。为确保数据的一致性与可比性，所有场景图均采用统一的层次化过滤规则进行构建，移除了冗余节点（如多个地板、门、墙壁等），并依据对象可抓取属性区分类别。这种构建方式不仅覆盖了从简单单房间到复杂多房间的多样化家庭环境，还通过自动化验证框架支持高效的任务评估。

使用方法

GraSIF数据集为评估图基指令跟随方法提供了系统化的基准测试平台。研究人员可利用该数据集验证规划算法在多样化家庭操作任务中的性能，具体使用方法包括：将自然语言指令与初始场景图输入规划模型，生成一系列高级操作动作序列；随后，通过数据集内置的场景图模拟器执行这些动作，并比对生成的目标状态与预设目标状态的一致性。评估过程采用成功率、平均计划精度和每动作令牌数等量化指标，自动化验证框架能够快速判断计划是否成功，并精确计算节点修改的准确率。该数据集尤其适用于测试方法在动态环境中的适应能力，例如当对象位置在规划与执行间发生变化时，系统能否通过视觉语言模型实时更新场景图并调整计划。

背景与挑战

背景概述

GraSIF（Graph Scenes for Instruction Following）数据集于2025年由Anatoly O. Onishchenko、Alexey K. Kovalev与Aleksandr I. Panov等研究人员提出，旨在应对具身人工智能中动态环境下的指令跟随挑战。该数据集整合了SayPlan Office、BEHAVIOR-1K与VirtualHome RobotHow三大仿真环境中的514项任务，专注于移动操作场景的图表示与自动化验证。其核心研究问题在于如何为基于场景图的规划方法提供标准化评估基准，以弥补该领域公开数据集的匮乏，从而推动动态环境中的自适应规划研究，并对机器人任务执行与场景理解领域产生深远影响。

当前挑战

GraSIF数据集致力于解决具身指令跟随中动态环境下的规划问题，其核心挑战在于如何使智能体在对象位置可能变化的场景中，基于场景图进行高效且准确的决策。构建过程中的挑战主要包括：一是数据整合与标准化，需从异构仿真环境中提取并统一图结构，确保任务间可比性；二是自动化验证框架的设计，需在避免依赖复杂物理仿真的前提下，实现对多种有效解决方案的精准评估；三是任务多样性与复杂性的平衡，需涵盖从简单操作到长时程多对象重排的广泛场景，以全面检验规划方法的鲁棒性。

常用场景

经典使用场景

在具身人工智能领域，动态环境中的指令跟随任务要求智能体能够实时适应物体位置的变化。GraSIF数据集通过提供包含初始与目标场景图的514个家庭环境任务，为基于场景图的规划方法提供了标准化的评估基准。其经典使用场景在于支持动态规划算法的开发与验证，特别是在移动操作任务中，智能体需根据自然语言指令探索环境、发现物体并执行复杂的多物体重排操作。

解决学术问题

该数据集解决了具身指令跟随研究中缺乏公开、统一评估基准的难题。传统方法常依赖静态场景图，难以应对环境动态变化，而GraSIF通过整合来自SayPlan Office、BEHAVIOR-1K和VirtualHome的多源任务，提供了覆盖不同复杂度的场景图表示。其意义在于促进了动态规划算法的公平比较，推动了图增强模块与实时感知融合的研究，为语言模型在物理环境中的扎根问题提供了结构化解决方案。

实际应用

在实际应用中，GraSIF数据集能够支持家庭服务机器人、智能仓储管理系统等领域的算法开发。例如，在家庭环境中，机器人可根据“整理客厅杂物”或“准备应急背包”等指令，利用数据集训练的规划模型动态更新场景图，定位移动物体并生成可行操作序列。其轻量化的自动验证框架允许快速测试算法在模拟环境中的表现，降低了真实机器人部署前的调试成本与风险。

数据集最近研究

最新研究方向

在具身人工智能领域，GraSIF数据集正推动动态场景图规划的前沿探索。随着大语言模型在任务规划中的应用日益广泛，如何使模型在动态环境中保持环境感知成为关键挑战。传统方法依赖预构建的静态场景图，难以应对物体位置变化等动态因素。近期研究聚焦于结合视觉语言模型的图增强技术，通过实时视觉观测动态更新场景图，从而提升规划系统的适应性与鲁棒性。LookPlanGraph等方法通过记忆图与场景图模拟器的协同，实现了在动态环境中的高效探索与规划，并在虚拟与真实世界实验中展现出优越性能。GraSIF数据集为此类研究提供了标准化的评估基准，其涵盖多房间复杂场景与长时程任务，促进了图基指令跟随技术的系统化比较与演进。

相关研究论文

• LookPlanGraph: Embodied Instruction Following Method with VLM Graph Augmentation

  MIRAI, 莫斯科, 俄罗斯; Cognitive AI Systems Lab, 莫斯科, 俄罗斯 · 2025年