PAT-Questions

PAT-Questions是由加州大学河滨分校创建的一个包含6172个问题-答案对的数据集，专注于当前时间锚定的时态问答（PATQA）。数据集内容涵盖单跳和多跳时态问题，通过SPARQL查询自动更新答案，确保数据的时效性。创建过程利用Wikidata知识库，通过模板生成问题，并关联每个问题的SPARQL查询以准确检索最新答案。该数据集旨在解决大型语言模型在处理时态问题时的知识更新和复杂时态关系推理的挑战，适用于测试和提升模型在实时信息处理和多步时态推理方面的能力。PAT-Questions is a dataset comprising 6,172 question-answer pairs, developed by the University of California, Riverside, and focused on current-time-anchored temporal question answering (PATQA). The dataset includes both single-hop and multi-hop temporal questions, with answers automatically updated via SPARQL queries to ensure data timeliness. Its construction leverages the Wikidata knowledge base, generating questions through templates and linking each question to a corresponding SPARQL query to accurately retrieve the latest answers. This dataset aims to address the challenges of knowledge updating and complex temporal relation reasoning faced by large language models (LLMs) when processing temporal questions, and is designed to test and enhance models' capabilities in real-time information processing and multi-step temporal reasoning.

搜集汇总

数据集介绍

构建方式

在时序问答领域，现有研究多聚焦于特定时间戳或事件锚定的问题，而PAT-Questions数据集则针对以当前时间为参照的时序问答任务构建。该数据集基于TEMPREASON数据集扩展而来，通过改造其时敏模板，将原始模板中的具体时间或实体替换为“当前”或“当前团队”等相对时间表述，从而生成单跳与多跳的现时锚定问题。构建过程中，利用Wikidata知识库中的时间依赖事实，为每个问题关联结构化SPARQL查询，实现了答案的自动化更新。具体步骤包括模板修改、简单问题实例创建与标注、常见事实过滤、复杂模板生成以及复杂问题实例的标注，确保了数据的时间敏感性与逻辑复杂性。

特点

PAT-Questions数据集的核心特点在于其现时锚定性与自我更新能力。该数据集包含6172个问题-答案对，涵盖单跳与多跳时序推理，问题的时间语境均相对于提问时刻，如“C罗目前效力于哪支球队？”。其独特之处在于，通过预定义的SPARQL查询模板，能够从最新的Wikidata知识库中自动检索并更新答案，从而持续保持数据的时效性。此外，数据集涵盖了复杂的时序关系（如“之前”、“上一个”）和多跳推理路径，对大型语言模型的时序推理与知识更新能力提出了显著挑战。

使用方法

该数据集主要用于评估和提升大型语言模型在现时锚定时序问答任务上的性能。研究者可通过直接提示或检索增强生成两种方式使用数据集。在直接提示设置中，将问题输入模型并指令其用简洁语言回答；在检索增强生成设置中，需先通过搜索引擎获取相关的最新文档作为上下文，再结合问题提示模型。数据集中每个问题附带的SPARQL查询模板支持答案的自动化更新，用户可定期执行查询以获取最新答案。实验表明，现有先进模型在该数据集上表现有限，尤其在多跳问题上准确率较低，凸显了开发新型时序推理方法的必要性。

背景与挑战

背景概述

在时序问答领域，现有研究多聚焦于锚定特定时间戳或事件的查询，而忽视了时间语境与当下时刻相对的问题。为填补这一空白，加州大学河滨分校的研究团队于2024年推出了PAT-Questions基准数据集。该数据集致力于解决当下锚定时序问答这一核心问题，即处理时间条件相对于提问时刻的查询，例如“克里斯蒂亚诺·罗纳尔多目前效力于哪支球队？”。通过从维基数据知识库中提取时序事实并构建模板，PAT-Questions生成了6172个包含单跳与多跳推理的问题对。其独特价值在于能够通过关联的SPARQL查询自动更新答案，确保了数据集在动态世界知识下的持续时效性，为评估和提升大语言模型在复杂时序推理上的能力提供了关键工具。

当前挑战

PAT-Questions旨在解决的领域挑战在于当下锚定时序问答本身固有的复杂性：首先，大语言模型因训练数据截止而存在知识过时问题；其次，问题中蕴含的“之前”、“上一个”等复杂时序关系难以被准确推理；再者，多跳推理要求模型在多个步骤中整合时序信息，例如追踪某球员当前球队的现任主教练。在数据集构建过程中，主要挑战源于维持基准的长期有效性：由于现实世界答案持续变化，传统人工更新方式不可持续且难以扩展。为此，研究团队创新性地将每个问题与维基数据的SPARQL查询绑定，实现了答案的自动化刷新，从而克服了手动维护的成本与可扩展性瓶颈，但这也对底层知识库的更新及时性与查询可靠性提出了持续要求。

常用场景

经典使用场景

在时序问答领域，PAT-Questions数据集被广泛用于评估大型语言模型对当前锚定时序问题的理解与推理能力。该数据集通过构建单跳与多跳的时序问题，模拟现实世界中信息动态变化的场景，例如“克里斯蒂亚诺·罗纳尔多目前效力于哪支球队？”或“何塞·索萨当前所在球队的主教练是谁？”。研究者利用该数据集测试模型在缺乏显式时间戳的情况下，对“当前”、“之前”等复杂时序关系的解析能力，以及模型在多跳推理中整合时序信息的表现。

解决学术问题

PAT-Questions数据集主要解决了时序问答研究中长期存在的几个关键问题：一是模型知识过时导致的答案滞后，二是对隐含时序关系的推理困难，三是多跳推理中时序信息整合的挑战。该数据集通过自动更新的SPARQL查询机制，确保了答案的时效性，为评估模型在动态知识环境下的适应能力提供了可靠基准。其意义在于推动了时序推理研究从静态时间戳锚定向动态当前锚定的范式转变，并为开发能够持续适应现实世界信息变化的智能系统奠定了数据基础。

衍生相关工作

PAT-Questions数据集衍生了一系列重要的相关研究工作，包括对现有时序推理模型的适应性改进，如对TEMPREASON-T5模型的调整以应对当前锚定问题。同时，该数据集促进了检索增强生成技术在时序问答领域的深入探索，研究者基于其多跳问题结构开发了更高效的文档检索与证据整合方法。此外，数据集的自更新机制也启发了后续研究如何构建可持续维护的时序评估基准，为动态知识环境下的模型评估提供了可扩展的解决方案。