mill-ct-liao/SpaMEM

SpaMEM是一个具身空间推理数据集，用于评估视觉语言模型中的动态空间记忆。该数据集通过使用居民代理模拟器在ProcTHOR环境中收集剧集。Embodied spatial reasoning dataset for evaluating dynamic spatial memory in vision-language models. Episodes are collected in ProcTHOR with a resident-agent simulator.

搜集汇总

数据集介绍

构建方式

SpaMEM数据集在ProcTHOR模拟环境中，通过居民-智能体模拟器收集了105个具身空间推理片段。每个片段包含15个动作步骤，记录了智能体在不同视角（8个水平角度与高低两个俯仰角）下的元数据与语义图像。数据以压缩包形式存储，每个片段对应一个唯一的tar.gz文件，并附有完整的元数据JSON文件，确保了数据的高效传输与结构完整性。

特点

该数据集核心聚焦于动态空间记忆评估，专为视觉-语言模型设计。其独到之处在于通过多视角、多步骤的具身交互序列，捕捉智能体对环境空间布局的持续记忆能力。数据涵盖丰富的语义图像与空间元数据，支持对模型在复杂室内场景中空间推理能力的细粒度分析，填补了现有基准在动态记忆维度上的空白。

使用方法

用户可通过HuggingFace Hub直接下载数据集，使用`hf_hub_download`函数获取单个片段的压缩包或全局清单文件`manifest.csv`。数据加载后，可利用Python的`tarfile`库解压并解析图像与元数据。建议结合具身AI相关框架，按动作序列提取图像与角度信息，用于训练或评估视觉-语言模型的空间记忆性能。

背景与挑战

背景概述

在具身人工智能领域，空间推理能力是智能体实现与物理世界交互的核心基础。近年来，视觉-语言模型虽在静态场景理解上取得显著进展，但其对动态空间信息的记忆与推断能力仍缺乏系统性评估。SpaMEM数据集由mill-ct-liao团队于2025年左右创建，依托ProcTHOR模拟器构建居民-智能体交互场景，旨在系统评测视觉-语言模型在具身环境中的动态空间记忆能力。该数据集通过105个精心设计的剧情，涵盖多视角语义图像与精确空间元数据，为具身空间推理研究提供了标准化基准。数据集已被提交至ECCV 2026会议评审，有望推动视觉-语言模型从静态感知向动态记忆推理的范式演进，对具身智能领域的评估体系构建具有重要方法论价值。

当前挑战

SpaMEM数据集面临的核心挑战在于填补动态空间记忆评估的方法论空白。现有视觉-语言模型基准多聚焦于静态图像理解或简单问答，缺乏对智能体在时间序列中空间位置记忆与推理能力的量化测试。研究团队需设计能区分短期工作记忆与长期空间表征的评估协议，并避免居民动态干扰引发的混淆变量。在构建过程中，挑战显现在于借助ProcTHOR模拟器生成包含真实互动行为的剧情数据，需确保居民动作的随机性与语义合理性之间的平衡。同时，对于每个任务步骤需精确记录15个视角的多模态感知数据，导致单个剧情的数据量达数百兆，如何在不损失语义完整性的前提下实现高效压缩与存储成为工程难点。此外，如何在视觉问答任务中设计对抗性样本以排除语言先验对空间记忆真实评估的污染，亦是亟待攻克的技术瓶颈。

常用场景

经典使用场景

SpaMEM数据集专为评估和推动具身智能体在空间记忆方面的能力而设计，其经典使用场景集中于视觉-语言模型（VLM）在动态三维环境中的空间推理任务。通过采集于ProcTHOR模拟器中的多视角图像序列与动作轨迹，研究者可系统性地测试模型在观察、记忆并理解物体空间位置变化时的表现，尤其关注模型对时间序列中空间关系演变的追踪能力。这一场景为剖析智能体在复杂、动态室内环境中的认知机制提供了标准化测试平台。

实际应用

在实际应用层面，SpaMEM为开发具备持久空间记忆能力的服务机器人、虚拟助手和智能导航系统提供了关键支持。例如，家庭服务机器人需在房间内移动时记住家具重新摆放后的位置变化；增强现实系统中的虚拟助手需实时理解用户活动导致的场景动态。该数据集通过模拟这些真实交互情境，助力模型从短期感知走向长期空间记忆，使得智能系统能够更加自然、高效地适应人类生活环境的动态变迁。

衍生相关工作

基于SpaMEM数据集，研究者可衍生出多个方向的工作，如设计针对动态场景的记忆增强型视觉-语言模型架构、探索空间记忆与常识推理的融合路径、以及开发更高效的具身智能体训练范式。该数据集的引入有望催生一系列用于评估和提升智能体在改变环境中持续感知与推理能力的基准方法，同时推动ProcTHOR等模拟平台的扩展应用，为未来具身AI领域在空间认知与记忆机制方面的创新性研究提供坚实的实验基石。