AlgoveraAI/autocast

Autocast数据集是一个用于预测未来世界事件的数据集，包含数千个预测问题和相关的新闻语料库。问题来源于预测竞赛，确保了高质量和多样性。新闻语料库按日期组织，模拟人类过去进行预测的条件。每个问题包含唯一标识符、问题正文、背景信息、问题类型、状态、选择或可能范围、答案、人群预测、发布时间、关闭时间、预测数量、预测者数量、标签和来源链接等字段。IntervalQA数据集则是一个用于校准跨数量级数值预测问题的数据集。

原始信息汇总

Autocast 数据集

简介

Autocast 数据集包含数千个预测问题和一个相关的新闻语料库。问题来自预测锦标赛，确保高质量、现实世界的重要性及多样性。新闻语料库按日期组织，允许我们精确模拟人类在过去的预测条件（避免未来信息的泄露）。我们测试了语言模型在预测任务上的表现，发现其远低于人类专家基准。然而，随着模型规模的增加和相关新闻信息的整合，性能有所提升。

数据集详情

• 下载链接: Autocast 数据集
• 问题字段: json { "id": "唯一标识符 (字符串)", "question": "问题主体 (字符串)", "background": "问题背景/细节 (字符串)", "qtype": "问题类型 (字符串)", "status": "问题状态 (字符串)", "choices": "选项或可能范围 (列表或字典)", "answer": "问题解决 (字符串或浮点数)", "crowd": "人群随时间的预测 (列表)", "publish_time": "发布时间戳 (字符串)", "close_time": "关闭时间戳 (字符串)", "prediction_count": "人群预测数量 (整数)", "forecaster_count": "人群预测者数量 (整数)", "tags": "问题类别 (列表)", "source_links": "评论中的来源链接 (列表)" }

IntervalQA 数据集

由于预测跨越数量级的数字（如2022年全球COVID-19病例数）的难度，我们还整理了IntervalQA数据集，这是一个包含数值问题和校准指标的数据集。

• 下载链接: IntervalQA 数据集

搜集汇总

数据集介绍

构建方式

在时间序列预测领域，构建高质量数据集对于评估模型性能至关重要。Autocast数据集通过整合来自Metaculus等专业预测竞赛平台的数千个真实世界问题，确保了问题的多样性与现实重要性。每个问题均附有详细的背景信息、时间戳及人类群体预测的历史记录，同时数据集还包含按日期组织的新闻语料库，精确模拟了人类进行历史预测时的信息条件，有效避免了未来信息泄露，为模型评估提供了严谨的基准环境。

使用方法

使用Autocast数据集时，研究者可依据其时间戳字段精确划分训练与测试集，模拟实时预测场景以评估模型的前瞻性能。通过解析问题类型与背景信息，可构建结合新闻语料的上下文增强输入。数据集支持对语言模型在数值预测、分类预测及概率评估等多类任务上的性能进行系统评测，并与提供的人类群体预测基线进行对比，从而深入分析模型规模、外部知识融合等因素对预测准确性的影响，推动自动化预测技术的发展。

背景与挑战

背景概述

在人工智能与预测科学交叉领域，2022年由加州大学伯克利分校等机构的研究团队联合发布了Autocast数据集，旨在探索神经网络对未来世界事件的预测能力。该数据集汇集了来自专业预测平台Metaculus的数千个高质量预测问题，涵盖气候、地缘政治、公共卫生及经济指标等多个关键领域，并配以按时间顺序组织的新闻语料库，以精确模拟人类进行历史预测时的信息条件。Autocast的构建标志着语言模型在复杂时序预测任务中的一次重要尝试，其核心研究问题在于评估先进语言模型能否自动化生成媲美人类专家的预测，从而为政策制定与决策提供数据驱动的支持，对提升预测科学的自动化水平具有深远影响。

当前挑战

Autocast数据集所针对的领域挑战在于实现高精度、多领域的未来事件预测，这要求模型不仅能处理数值型与分类型的混合问题，还需融合时序新闻信息以应对动态变化的世界情境。在构建过程中，研究团队面临的主要挑战包括确保数据的历史模拟真实性，避免未来信息泄露，同时需从异构的预测问题中维持结构一致性，并处理跨数量级的数值预测校准难题。此外，如何将人类专家的群体预测数据有效整合，以建立可靠的评估基线，亦是数据集设计中的关键难点。

常用场景

经典使用场景

在时间序列预测领域，Autocast数据集以其对全球事件预测问题的结构化呈现，成为评估大型语言模型预测能力的经典基准。该数据集整合了来自专业预测竞赛的多样化问题，涵盖气候、地缘政治、公共卫生与经济指标等关键领域，通过模拟人类专家进行历史预测时的信息条件，为模型提供了严格的时序推理测试环境。研究人员通常利用该数据集训练或微调模型，探索语言模型在复杂现实世界事件中的预测潜力与局限性。

解决学术问题

Autocast数据集主要致力于解决自动化预测系统中的核心学术挑战，即如何使语言模型具备对不确定未来事件的量化推理能力。它通过提供带时间戳的新闻语料与人类预测轨迹，有效避免了数据泄露问题，为研究模型的信息整合与校准性能提供了可靠基础。该数据集推动了预测不确定性建模、时序知识推理以及人机预测协同等方向的发展，为提升AI在复杂决策支持中的可信度奠定了实证基础。

实际应用

在实际应用层面，Autocast数据集为构建自动化预测辅助系统提供了关键数据支撑。其问题涵盖的政策制定、风险评估与战略规划等领域，使得基于该数据集训练的模型能够为政府部门、国际组织或企业提供数据驱动的未来情景分析。例如，在公共卫生危机中，模型可结合历史疫情数据与新闻动态，生成对疾病传播趋势的早期预警，辅助资源调配与干预措施的制定，增强社会对突发事件的应对韧性。

数据集最近研究

最新研究方向

在时间序列预测领域，Autocast数据集凭借其源自真实预测竞赛的高质量事件问题，正推动神经网络在复杂世界事件预测中的前沿探索。当前研究聚焦于提升大型语言模型对气候、地缘政治冲突及经济指标等多元事件的时序推理能力，通过整合按日期组织的新闻语料库，模拟人类预测的历史条件，有效避免未来信息泄露。这一方向与人工智能在决策支持系统中的热点应用紧密相连，其进展不仅有望增强自动化预测的准确性，更对政策制定与风险管理具有深远意义，为构建更可靠的社会性预测框架奠定基础。