futurex-ai/Futurex-Past

FutureX-Past数据集包含了FutureX基准测试的历史问题，这些问题涉及到对已经发生的事件的预测。数据集适用于模型行为分析、强化学习、搜索和信息检索评估以及静态问答基准。数据集以结构化格式提供，每个条目都包括问题ID、问题内容、答案、选项、结束时间、提示和难度等级。

The FutureX-Past dataset consists of historical questions from the FutureX benchmark, which involve predictions about events that have already occurred. The dataset is suitable for model behavior analysis, reinforcement learning, search and information retrieval evaluation, and static question-answering benchmark. The dataset is provided in a structured format, with each entry including a question ID, question content, answer, options, end-time, prompt, and difficulty level.

搜集汇总

数据集介绍

构建方式

在人工智能领域，对未来事件进行预测是评估大型语言模型智能水平的重要维度。FutureX-Past数据集作为FutureX动态基准的历史子集，其构建过程体现了严谨的自动化流程。该数据集通过一个全自动管道，持续生成关于未来真实世界事件的预测问题，并在事件发生后，通过自动化网络爬虫系统检索并记录已验证的答案作为基准真值。数据集每周与在线基准同步更新，但并非所有问题都会被收录，系统会排除那些答案无法自动验证或事件结果仍不确定的条目，从而确保了数据的可靠性与时效性。

特点

该数据集的核心特征在于其问题均源于复杂多变的真实世界场景，涵盖了从基础事实查询到高度不确定的开放式预测等多个难度层级。每个数据条目不仅包含预测提示和基准答案，还附带了事件发生的时间戳以及由专家定义的难度等级，这为分析模型在不同信息复杂度下的表现提供了结构化标签。尤为重要的是，所有事件均已发生，答案已知，这使其脱离了实时预测的评估范畴，转而成为一个研究模型信息检索、推理路径及在不确定性下决策行为的宝贵静态资源。

使用方法

研究人员可将此数据集应用于多个前沿方向。在模型行为分析方面，可通过考察不同智能体对同一历史问题的回答，深入剖析其工具调用策略与推理链条。该数据集同样适用于强化学习训练，通过模拟控制搜索引擎查询日期来学习预测模式。此外，其已知的基准答案为评估智能体从网络检索时效性信息的能力提供了高质量的测试平台。需要强调的是，鉴于答案可能已包含在近期模型的训练数据中，该数据集不应用于评估模型的实时未来预测能力，以避免评估结果受到污染。

背景与挑战

背景概述

FutureX-Past数据集作为FutureX基准的历史子集，于2025年由Zhiyuan Zeng等研究人员提出，旨在评估大型语言模型在现实事件未来预测任务中的能力。该数据集聚焦于时间敏感信息的检索与推理，核心研究问题在于探索智能体如何整合动态知识以应对不确定性事件。其构建依托自动化流程，每周同步更新，为模型行为分析、强化学习及信息检索评估提供了关键数据支撑，显著推动了智能体在复杂时序推理领域的研究进展。

当前挑战

该数据集主要应对未来预测领域的核心挑战，即要求模型在事件发生前整合碎片化、动态变化的实时信息进行准确推断，这涉及对时序逻辑与不确定性的深度理解。在构建过程中，挑战体现在自动化采集真实事件答案时，常因网络信息缺失或事件结果无法验证而导致数据覆盖不全；同时，确保历史数据不污染未来预测评估，避免模型因训练数据泄露而产生偏差，亦是维持基准科学性的关键难题。

常用场景

经典使用场景

在人工智能领域，FutureX-Past数据集为研究大型语言模型（LLM）的推理与信息检索能力提供了经典场景。该数据集收录了涉及真实世界事件的复杂问题，要求模型基于时间敏感信息进行预测。研究者常利用这些历史问题，模拟LLM代理在动态环境中的决策过程，分析其如何整合多源数据、执行搜索查询并生成合理答案，从而深入探究模型在不确定性下的行为模式。

解决学术问题

FutureX-Past数据集有效应对了评估LLM在实时预测任务中表现的核心学术挑战。传统静态基准难以捕捉模型对新兴事件的适应能力，而该数据集通过提供已验证的历史事件及其真实答案，为分析模型的信息整合与时间推理机制建立了可靠基础。它助力解决模型在复杂、开放领域问题中的泛化性能评估，推动了基于强化学习的预测代理训练方法的发展，并为自动化信息检索系统的优化提供了实证依据。

衍生相关工作

围绕FutureX-Past数据集，已衍生出一系列聚焦于LLM代理未来预测能力的经典研究工作。这些研究主要探索模型在不确定性环境中的推理路径优化、工具调用策略以及基于强化学习的日期控制搜索机制。相关成果不仅深化了对LLM时序推理局限性的理解，还促进了自动化评估框架的设计，为构建更稳健、适应性强的人工智能代理提供了方法论支持，并在学术社区中推动了动态基准测试范式的演进。