weatherQA-Irish, weatherQA-Sydney, trafficQA-TFNSW

本文介绍了三个新数据集：weatherQA-Irish、weatherQA-Sydney和trafficQA-TFNSW，这些数据集是为了评估KG-IRAG框架的性能而创建的。这些数据集包含了详细的时空信息，能够支持模型进行基于实时的信息检索和逻辑推理。数据集的构建旨在测试模型处理涉及动态时间信息检索和数学推理的查询能力，例如确定最佳时间重新安排行程。

This paper introduces three novel datasets: weatherQA-Irish, weatherQA-Sydney, and trafficQA-TFNSW, which were constructed to evaluate the performance of the KG-IRAG framework. These datasets contain detailed spatiotemporal information, enabling models to carry out real-time information retrieval and logical reasoning. The datasets are designed to test models' ability to handle queries involving dynamic temporal information retrieval and mathematical reasoning, such as determining the optimal time to reschedule a travel itinerary.

搜集汇总

数据集介绍

构建方式

weatherQA-Irish、weatherQA-Sydney和trafficQA-TFNSW数据集的构建基于真实世界的气象和交通数据，分别来源于爱尔兰气象局、澳大利亚国家海洋和大气管理局以及新南威尔士州交通局的交通流量数据。这些数据集通过将时间、地点和事件状态（如降雨量或交通流量）作为知识图谱中的关键实体，构建了包含时空维度的知识图谱。具体而言，爱尔兰和悉尼的气象数据分别以每小时和每半小时的频率记录，而交通数据则以每小时为单位记录。数据预处理过程中，剔除了不相关的属性（如湿度和阳光强度），仅保留与问答任务相关的核心信息。每个数据集中的问题设计逐步增加复杂性，从简单的实体识别到动态时间推理，旨在测试模型在多步推理中的表现。

特点

weatherQA-Irish、weatherQA-Sydney和trafficQA-TFNSW数据集的特点在于其高时间分辨率和丰富的时空信息。爱尔兰和悉尼的气象数据分别以每小时和每半小时的频率记录，而交通数据则包含每小时的车流量信息。这些数据集不仅记录了空间关系，还捕捉了详细的时间数据，使得知识图谱能够支持复杂的时空推理任务。此外，trafficQA-TFNSW数据集还包含交通方向信息，进一步增强了空间信息的丰富性。每个数据集中的问题设计从简单的异常事件检测逐步过渡到复杂的动态时间推理，要求模型在多个时间步长上进行迭代推理，从而全面评估模型在时空推理任务中的能力。

使用方法

weatherQA-Irish、weatherQA-Sydney和trafficQA-TFNSW数据集主要用于评估基于知识图谱的迭代检索增强生成框架（KG-IRAG）在复杂时空推理任务中的表现。使用这些数据集时，模型首先通过知识图谱检索与问题相关的时空数据，随后通过迭代推理逐步生成答案。具体而言，模型需要在多个时间步长上进行数据检索和推理，以解决涉及时间依赖性和逻辑推理的问题。例如，在天气相关的问答中，模型需要根据降雨数据推断最佳的出行时间；在交通相关的问答中，模型则需要根据车流量数据推断最佳的出行路线。这些数据集的使用方法不仅测试了模型的信息检索能力，还评估了其在多步推理中的表现。

背景与挑战

背景概述

weatherQA-Irish、weatherQA-Sydney和trafficQA-TFNSW数据集是由新南威尔士大学的研究团队于2025年创建的，旨在评估基于知识图谱的迭代检索增强生成框架（KG-IRAG）在复杂时空推理任务中的表现。这些数据集聚焦于天气和交通领域的时空推理问题，分别涵盖了爱尔兰和悉尼的天气数据以及新南威尔士州的交通数据。KG-IRAG框架通过结合知识图谱与迭代推理，显著提升了大型语言模型（LLMs）在处理涉及时间依赖性和逻辑推理的查询时的能力。这些数据集的引入为研究LLMs在动态时空数据检索和推理中的应用提供了重要支持，推动了知识图谱与LLMs结合的进一步发展。

当前挑战

weatherQA-Irish、weatherQA-Sydney和trafficQA-TFNSW数据集在构建和应用过程中面临多重挑战。首先，这些数据集旨在解决复杂的时空推理问题，例如根据天气或交通状况确定最佳出行时间，这要求模型不仅能够检索静态信息，还需具备动态推理能力。其次，数据集的构建过程中，如何将高频率的天气和交通数据有效地转化为知识图谱结构，并确保时间和空间维度的精确表达，是一个技术难点。此外，LLMs在处理大量数值数据时容易产生幻觉（hallucination），尤其是在涉及时间序列推理的任务中，如何平衡检索的精确性与推理的复杂性，是当前研究的主要挑战之一。

常用场景

经典使用场景

weatherQA-Irish、weatherQA-Sydney和trafficQA-TFNSW数据集主要用于评估大型语言模型（LLMs）在处理时间敏感和事件驱动的复杂推理任务中的表现。这些数据集特别适用于测试模型在动态时间数据提取和逻辑推理结合的场景中的能力，例如根据天气或交通状况优化出行时间。通过逐步推理和迭代检索，模型能够从外部知识图谱中获取相关信息，生成更准确的回答。

实际应用

在实际应用中，weatherQA-Irish、weatherQA-Sydney和trafficQA-TFNSW数据集可用于开发智能出行规划系统。例如，用户可以通过这些数据集查询最佳出行时间，避免恶劣天气或交通拥堵。此外，这些数据集还可用于城市交通管理、天气预报优化等领域，帮助决策者基于实时数据进行动态调整。

衍生相关工作

基于这些数据集的研究工作推动了知识图谱与LLMs结合的进一步发展。例如，KG-IRAG框架通过迭代推理机制显著提升了LLMs在复杂推理任务中的表现。此外，这些数据集还启发了更多关于时间敏感问答系统的研究，如TemporalWiki和TEMPLAMA等时间敏感问答数据集的开发，进一步扩展了时间推理在自然语言处理中的应用。