linjieli222/spatial-imaginative-token-pt-eval-ai2thor

该数据集是一个多模态视觉问答数据集，包含三个配置：td_ego_dir、td_path和td_path_arrow。每个配置由训练集组成，具有文本和图像特征。文本特征包括问题ID、问题、答案和选项列表；图像特征包括俯视图图像、自我中心图像列表、侧视图图像和侧视图描述。数据集可能用于导航或空间推理任务，涉及从不同视角（如俯视图和第一人称视图）理解环境并回答问题。具体来说，td_ego_dir可能关注自我中心方向判断，td_path可能涉及路径识别，td_path_arrow可能添加了箭头指示以增强路径理解。数据规模较小，每个配置的样本数在113到171之间。This dataset is a multimodal visual question answering dataset with three configurations: td_ego_dir, td_path, and td_path_arrow. Each configuration consists of a training split with text and image features. Text features include question ID, question, answer, and a list of choices; image features include a top-down image, a list of ego-centric images, a side-view image, and a side-view description. The dataset is likely designed for navigation or spatial reasoning tasks, involving understanding environments from different perspectives (e.g., top-down and first-person views) to answer questions. Specifically, td_ego_dir may focus on ego-centric direction judgment, td_path may involve path identification, and td_path_arrow may incorporate arrow indicators for enhanced path understanding. The dataset is relatively small, with sample sizes ranging from 113 to 171 per configuration.

搜集汇总

数据集介绍

构建方式

该数据集基于AI2-THOR模拟环境构建，专注于空间想象力与路径规划的评估。通过预设的室内场景，系统自动生成三类任务配置：td_ego_dir聚焦于自我中心方向判断，td_path侧重路径推理，td_path_arrow则引入箭头指引的路径选择。每个样本包含唯一标识的问题ID、多选形式的提问与标准答案，并辅以俯视图、侧视图及多视角第一人称图像作为视觉上下文，确保任务在丰富的空间信息下完成。数据集共包含453个训练样本，以图像与文本的复合结构存储，为空间认知研究提供了精细化的评估基准。

特点

数据集的核心特点在于多模态空间推理任务的整合设计。每个样本均融合自然语言问题、多视角图像集合与拓扑图形描述，形成对智能体空间想象能力的全面考量。td_ego_dir与td_path两类配置分别从自我中心与全局视角出发，结合侧视图的文字注解，构建了层次化的空间理解挑战。td_path_arrow引入符号指引，进一步增强了任务的情境复杂性。这种设计不仅覆盖了方向判断、路径记忆与符号解读等关键能力，还通过视觉与文本的协同作用，逼真模拟了人类在导航中的多源信息融合过程。

使用方法

研究者可通过HuggingFace Datasets库直接加载使用，支持按配置名称（如td_ego_dir）选择特定任务。加载后，每个样本包含question_id、question、answer和choices字段，便于构建标准的问答评估流程。图像数据以PIL格式或路径形式提供，可直接与视觉-语言模型对接。对于路径推理任务，可结合topdown_image与ego_images序列进行空间定位，而sideview_image与sideview_desc则提供了额外的方位参照。该数据集适用于零样本评估或微调训练，尤其适合验证模型在多视角空间推理与符号理解方面的泛化能力。

背景与挑战

背景概述

在具身智能与视觉导航研究领域，空间想象力对于智能体理解复杂环境并执行目标导向任务至关重要。spatial-imaginative-token-pt-eval-ai2thor数据集诞生于这一前沿探索中，由研究团队基于AI2-THOR模拟环境精心构建，旨在评估智能体在多视角图像与语义描述融合下的空间推理能力。该数据集于近年发布，通过包含俯视图、第一人称视角图、侧视图及对应描述的多模态样本，为核心研究问题——即如何借助空间想象标记（Spatial Imaginative Token）提升智能体在未知环境中的路径规划与决策能力——提供了标准化的评测基准。其对相关领域的影响力体现在，它填补了评估空间想象力在具身导航中作用的空白，推动了视觉语言导航与推理任务的纵深发展。

当前挑战

该数据集所解决的领域问题核心挑战在于，现有具身导航模型往往受限于对当前视野的直接依赖，难以在复杂室内场景中推断视角之外的环境布局与路径连通性，而空间想象力的缺乏导致智能体在遮挡或盲区场景下决策失误频发。构建过程中，数据集的挑战同样严峻：首先，需在AI2-THOR中生成多样化且具备空间逻辑一致性的场景，确保俯视图、第一人称图像及侧视图之间的坐标与语义对应关系精确无误；其次，对每个样本配以反映高层空间意图的侧视图文字描述，要求语言模型准确理解并表达空间关系，这对数据标注的一致性提出极高要求；此外，样本量有限（如td_ego_dir仅113条训练数据）使得模型泛化面临过拟合风险，如何在稀缺数据下设计有效的评测指标成为另一重难题。

常用场景

经典使用场景

在具身智能与视觉语言导航研究的交汇处，spatial-imaginative-token-pt-eval-ai2thor数据集为评估智能体在三维仿真环境中的空间推理能力提供了宝贵的测试平台。该数据集依托AI2-THOR模拟器，精心设计了包含俯视图、第一人称视角图与侧视图在内的多模态视觉输入，并配以自然语言问题。经典使用场景聚焦于验证模型能否融合不同视角的空间信息，理解方向（如左转、右转）与路径（如走向沙发）等指令，进而准确回答关于当前所在位置或目标路径的问题。这一设定直接挑战了模型在缺乏完整地图信息时，仅凭局部视觉线索进行空间想象与决策的能力。

解决学术问题

该数据集精准锚定了一个长期困扰学术界的核心难题：如何量化并提升深度学习模型在三维空间中的想象力与推理能力。传统的视觉问答任务多聚焦于静态图像中的物体识别，而忽略了动态空间关系与视角转换的复杂性。spatial-imaginative-token-pt-eval-ai2thor通过引入多视角图像与方位、路径相关的问答对，为空间智能研究提供了标准化的评价基准。它迫使学界重新审视模型对空间拓扑、自我中心与全局坐标转换的认知水平，推动了从简单特征匹配向空间因果推断、心理旋转等高阶认知能力探索的范式转变，深刻影响了具身智能领域对智能体空间理解能力的评估体系。

衍生相关工作

围绕该数据集的评估框架，衍生出一系列影响深远的学术探索。其中，最具代表性的是对空间标记（Spatial Token）或空间记忆模块的设计。受该数据集启发，研究者们致力于在Transformer架构中嵌入可学习的空间位置编码，以更高效地融合俯视图与第一人称视图的信息。此外，将大型语言模型的文本推理能力与多视角视觉编码器结合，形成所谓的视觉-语言-空间推理模型，也成为热点方向。诸如LEMMA与Embodied BERT等经典工作，其评估流程与任务设定均借鉴了该数据集的范式。这些衍生工作不仅提升了模型在AI2-THOR等仿真环境中的导航成功率，更为真实世界中的空间问答与人机协作奠定了理论基础。