UKPLab/sparp

该数据集是SpaRTUN和StepGame数据集的整合，并扩展了额外的空间特征和推理路径生成。数据集主要用于空间问答任务，并包含详细的推理路径。数据集的主要字段包括context（空间上下文的文本描述）、question（关于在上下文中查找两个实体之间空间关系的问题）、targets（答案，即问题中实体之间的空间关系列表）、target_choices（所有可供选择的空间关系列表）、target_scores（目标在target_choices上的二值化多标签表示）、reasoning（用于训练或few-shot示例的推理路径）等。此外，数据集还包含一些元数据字段，如context_id、question_id、symbolic_context等。数据集的语言为英语，且提供了多个配置版本，每个版本包含训练、验证和测试集。

原始信息汇总

数据集概述

数据集名称

• Spatial Reasoning Path (SpaRP)

数据集特征

• context: 字符串类型，描述空间上下文。
• question: 字符串类型，关于上下文中两个实体间空间关系的问题。
• targets: 字符串序列，问题的答案，即问题中实体间的空间关系列表。
• target_choices: 字符串序列，所有可选的空间关系列表。
• target_scores: 整数序列，目标在目标选择上的多标签二值化表示。
• reasoning: 字符串类型，训练或少量示例的推导验证CoT表述的推理路径。
• source_data: 字符串类型，数据来源（SpaRTUN或StepGame）。
• context_id: 整数类型，源数据中对应上下文的标识符，唯一。
• question_id: 整数类型，源数据中对应问题的标识符。
• symbolic_context: 字符串类型，描述符号化上下文的JSON字符串。
• symbolic_entity_map: 字符串类型，映射符号实体到其完整描述名称的JSON字符串。
• symbolic_question: 字符串序列，描述符号化问题的JSON字符串。
• num_context_entities: 整数类型，上下文中的实体数量。
• num_question_entities: 整数类型，问题中的实体数量。
• question_type: 字符串类型，问题的类型，目前仅包括FR（查找关系）类型。
• reasoning_types: 字符串序列，回答问题所需的推理类型。
• spatial_types: 字符串序列，回答问题所需的空间关系类型。
• commonsense_question: 字符串类型，常识问题。
• canary: 字符串类型，仅在test中存在的标识字符串。
• comments: 字符串序列，特定于上游数据的附加评论。

配置信息

• SpaRP-PS1 (SpaRTUN):
  • 版本: 0.1.0
  • 默认配置
  • 数据文件:
    • 训练集: "SpaRP-PS1 (SpaRTUN)/train.json"
    • 验证集: "SpaRP-PS1 (SpaRTUN)/val.json"
    • 测试集: "SpaRP-PS1 (SpaRTUN)/test.json"
• SpaRP-PS2 (StepGame):
  • 版本: 0.1.0
  • 数据文件:
    • 训练集: "SpaRP (StepGame)/PS2/train.json"
    • 验证集: "SpaRP (StepGame)/PS2/val.json"
    • 测试集: "SpaRP (StepGame)/PS2/test.json"

许可证

• CC-by-SA 4.0

搜集汇总

数据集介绍

构建方式

在空间推理研究领域，SpaRP数据集通过整合与扩展SpaRTUN及StepGame两大基准数据集构建而成。其构建过程遵循系统化方法，对原始数据进行了格式统一与字段规范化，并在此基础上增添了空间关系表征与推理路径生成等丰富信息。具体而言，每个数据实例均包含文本化的空间情境描述、针对实体间空间关系的提问、多标签答案选项，以及经过演绎验证的思维链式推理路径。此外，数据集还引入了符号化上下文、实体映射和元数据字段，从而为深入分析语言模型的空间推理机制提供了结构化基础。

特点

SpaRP数据集的核心特征在于其多层次、结构化的空间推理信息表征。数据集不仅提供了自然语言描述的空间情境与问题，还包含了符号化的上下文表示与实体映射，实现了从表层语言到深层逻辑结构的双重编码。其问题类型专注于寻找实体间空间关系，并配备了多标签答案选择与二值化得分，支持复杂的多关系推理评估。尤为突出的是，每个实例均附有经过验证的言语化推理路径，为模型的可解释性训练与少样本学习提供了高质量范例。丰富的元数据字段，如推理类型、空间关系类型及数据来源标注，进一步增强了数据集的科研分析价值。

使用方法

该数据集主要服务于大型语言模型空间推理能力的评估与提升研究。使用者可通过Hugging Face的`datasets`库便捷加载，默认配置为SpaRTUN来源的“SpaRP-PS1”，也可通过指定配置名称（如“SpaRP-PS2 (StepGame)”）加载不同子集。数据划分为标准的训练集、验证集和测试集，便于进行模型训练与性能评测。研究人员可利用其提供的思维链推理路径进行思维链提示或微调，以探究模型的多步推理能力。同时，其符号化字段与丰富元数据支持对模型内部推理过程进行细粒度分析，适用于可解释性人工智能与神经符号推理等前沿方向的研究。

背景与挑战

背景概述

空间推理作为人工智能领域的关键认知能力，其研究旨在使模型能够理解和处理实体间的方位关系。由德国达姆施塔特工业大学UKP实验室的Md Imbesat Hassan Rizvi等人于2024年构建的SpaRP数据集，正是这一研究方向的重要产物。该数据集整合了SpaRTUN与StepGame两大基准，并融入了空间关系表征与推理路径生成，核心在于探究大语言模型在空间问答任务中的深层推理机制。通过提供标准化的上下文描述、问题、答案及经过演绎验证的思维链，SpaRP为评估和提升模型的空间逻辑理解能力奠定了坚实基础，对推动具身智能与复杂场景理解研究具有显著影响力。

当前挑战

SpaRP数据集致力于解决空间关系问答这一核心领域问题，其首要挑战在于如何精准建模多跳、复合型空间推理。现实场景中的空间关系往往涉及多个实体与复杂方位组合，要求模型不仅能识别基础关系，还需进行递推式逻辑演绎。在构建过程中，研究团队面临数据整合与标准化的难题，需将不同来源的异构数据集进行对齐，并统一其符号化表征与自然语言描述。同时，生成高质量、可验证的思维链注释亦是一项艰巨任务，要求注释过程兼具逻辑严谨性与语言自然度，以确保数据既能支持模型训练，又能作为可靠的评估基准。

常用场景

经典使用场景

在空间推理研究领域，SpaRP数据集为评估大型语言模型的空间认知能力提供了标准化的基准。该数据集整合了SpaRTUN与StepGame两大经典资源，通过结构化的问题描述、实体关系标注及符号化推理路径，构建了多跳空间问答任务。研究者通常利用其丰富的上下文描述与多标签答案选项，训练或测试模型在复杂空间场景中进行关系推断的性能，尤其关注模型能否依据给定的文本语境，逐步推导出实体间的方位关系。

衍生相关工作

围绕SpaRP数据集，已衍生出一系列聚焦空间推理的经典研究工作。其上游基础SpaRTUN与StepGame数据集本身便是该领域的重要基准，催生了众多针对空间关系抽取与推理的模型架构。而SpaRP通过统一格式、增强标注并公开思维链数据，进一步激发了如基于思维链提示的推理方法、符号与神经结合的混合模型以及针对多跳空间问答的专用评估协议等研究方向，持续推动着语言模型在空间认知任务上的性能边界与可解释性探索。

数据集最近研究

最新研究方向

在空间推理领域，SpaRP数据集作为整合SpaRTUN与StepGame的标准化资源，正推动大语言模型空间认知能力的深度探索。其前沿研究聚焦于利用数据集中丰富的符号化上下文与推理路径，构建可解释的多跳空间关系推理框架。相关热点事件体现在ACL 2024等顶级会议中，学者们借助该数据集验证大语言模型在复杂空间场景下的逻辑演绎能力，特别是通过生成式推理路径提升模型对实体间相对位置关系的理解精度。这一进展不仅强化了人工智能对物理世界的语义建模，也为自动驾驶、机器人导航等依赖空间感知的应用提供了关键的理论与数据支撑。