SpatialKG

SpatialKG是一个高质量的地理空间知识图谱，基于OpenStreetMap和Foursquare的开放源城市数据源构建。该图谱包含了城市环境中基本的实体类型和它们之间的关系，例如兴趣点（POI）、兴趣区域（AOI）和道路。SpatialKG用于构建GEOHALUBENCH，这是一个包含3个一级类别和5个二级类别的地理空间幻觉基准，旨在评估和缓解LLM中的地理空间知识幻觉。GEOHALUBENCH包含了2100个测试样例，每个样例都包含一个多选题，一个参考答案，以及一个将选项映射到幻觉类型的映射。SpatialKG is a high-quality geospatial knowledge graph constructed based on open-source urban data sources from OpenStreetMap and Foursquare. This knowledge graph includes basic entity types and their interrelationships in urban environments, such as Points of Interest (POIs), Areas of Interest (AOIs) and roads. SpatialKG is used to develop GEOHALUBENCH, a geospatial hallucination benchmark that consists of 3 primary categories and 5 secondary categories, aiming to evaluate and alleviate geospatial knowledge hallucinations in Large Language Models (LLMs). GEOHALUBENCH contains 2100 test samples, each of which comprises a multiple-choice question, a reference answer, and a mapping that links options to hallucination types.

搜集汇总

数据集介绍

构建方式

SpatialKG数据集的构建基于高质量的地理空间知识图谱，整合了来自OpenStreetMap和Foursquare的开源地理数据。通过设计新的知识图谱模式，该数据集涵盖了城市环境中的基本元素，如兴趣点（POI）、兴趣区域（AOI）和道路，并定义了它们之间的关键空间关系。数据经过严格的自动化管道处理和过滤，以确保其质量和可靠性。

特点

SpatialKG数据集的特点在于其结构化的地理空间知识表示，能够系统地捕捉城市和乡村空间结构的关键元素及其相互关系。该数据集不仅包含实体的名称，还涵盖了重要的属性信息，如POI的地址和类别、区域的面积和土地利用类型、道路的长度等。这种全面的知识表示为评估和减轻大语言模型中的地理空间幻觉提供了坚实的基础。

使用方法

SpatialKG数据集主要用于评估和减轻大语言模型在地理空间知识上的幻觉问题。研究人员可以利用该数据集构建地理空间幻觉基准（如GEOHALUBENCH），通过多选问题形式测试模型的地理空间知识准确性。此外，该数据集还可用于训练动态事实对齐方法（如DynamicKTO），通过调整风险控制参数来优化模型的地理空间知识表示，从而提高模型在真实世界地理空间任务中的可靠性。

背景与挑战

背景概述

SpatialKG数据集由清华大学、北京交通大学等机构的研究团队于2025年提出，旨在解决大型语言模型(LLMs)在地理空间知识中存在的幻觉问题。该数据集基于OpenStreetMap和Foursquare的开源地理数据构建，包含兴趣点(POI)、关注区域(AOI)和道路等核心地理实体及其相互关系。作为首个系统评估地理空间知识幻觉的基准，SpatialKG通过结构化知识图谱和动态事实对齐方法(DynamicKTO)，显著提升了LLMs在地理空间任务中的可靠性，对智慧城市、位置服务等领域的可信AI发展具有重要价值。

当前挑战

SpatialKG面临的挑战主要体现在两个方面：领域问题方面，需解决LLMs在地理空间知识中存在的实体虚构(34.5%)、关系遗漏(28.7%)和属性混淆(41.2%)等幻觉类型，这些错误严重影响位置推荐、城市计算等应用的准确性；构建过程方面，地理数据的异构性导致知识图谱建模复杂度高(需处理12类空间关系)，且动态事实对齐方法需平衡不同地理实体的风险参数(β值差异达5倍)，同时要避免模型在增强空间认知时损害其通用能力(MMLU指标下降不超过5%)。

常用场景

经典使用场景

SpatialKG数据集在评估和减轻大型语言模型（LLMs）中的地理空间知识幻觉方面具有经典应用场景。通过构建结构化的地理空间知识图谱（SpatialKG）和系统化的地理空间幻觉评估基准（GEOHALUBENCH），该数据集能够全面检测LLMs在地理空间知识上的错误表现。例如，通过多选问题形式，评估模型对真实地理实体、关系和属性的认知准确性，从而揭示模型在生成地理空间信息时的幻觉类型，如实体虚构、实体遗漏或属性混淆等。

衍生相关工作

SpatialKG数据集衍生了一系列经典研究工作，包括GeoLLM（社会指标预测）、AgentMove（全球移动性预测）和UrbanCLIP（城市表征学习）等。这些工作通过利用数据集构建的地理空间知识基准和优化方法，显著提升了模型在特定任务中的性能。此外，DynamicKTO算法作为数据集的创新成果，已被扩展应用于其他领域（如法律、医学）的幻觉减轻研究，进一步验证了其通用性和有效性。

数据集最近研究

最新研究方向

近年来，随着大语言模型（LLMs）在各类地理空间任务中的广泛应用，如移动性预测和社会指标预测，其蕴含的丰富地理空间知识备受关注。然而，LLMs在生成地理空间知识时常常出现不准确的现象，即地理空间幻觉，这一问题严重影响了模型的可靠性。针对这一挑战，研究者提出了SpatialKG数据集，通过结构化地理空间知识图谱对LLMs的地理空间幻觉进行系统性评估与缓解。该数据集不仅构建了全面的地理空间幻觉评估框架GEOHALUBENCH，还引入了基于Kahneman-Tversky优化（KTO）的动态事实对齐方法DynamicKTO，显著提升了模型在地理空间知识任务中的表现。这一研究填补了地理空间幻觉系统性评估与缓解的空白，为提升LLMs在地理空间领域的可信度提供了重要工具和方法。

相关研究论文

• Mitigating Geospatial Knowledge Hallucination in Large Language Models: Benchmarking and Dynamic Factuality Aligning

  清华大学 · 2025年