YuehHanChen/forecasting

该数据集是为研究论文《Approaching Human-Level Forecasting with Language Models》开发的，来源于多个预测平台，包括Metaculus、Good Judgment Open、INFER、Polymarket和Manifold。数据集包含背景描述、解决准则和时间戳等信息。原始数据集包含48,754个问题和7,174,607个用户预测，涵盖了2015年至2024年的全球各种问题和主题。数据经过过滤、调整不平衡、二进制聚焦和时间分割等步骤进行整理，最终得到5,516个二进制问题，用于训练、验证和测试。该数据集对于研究语言模型的预测能力具有重要意义。

原始信息汇总

数据集概述

数据来源与格式

• 来源平台：Metaculus, Good Judgment Open, INFER, Polymarket, Manifold
• 数据结构：
  • 背景描述：每个预测问题的背景信息。
  • 解决标准：每个问题的解决指南。
  • 时间戳：包括发布日期、预测提交截止日期和结果解决日期。

原始数据组成

• 数据量：包含48,754个问题和7,174,607个用户预测（2015年至2024年）。
• 问题类型：涵盖多种问题类型和全球话题。
• 数据挑战：存在定义不明确的问题和2023年6月1日后的平台贡献不平衡问题。

数据筛选过程

• 过滤：排除定义不明确、过于个人化或小众兴趣的问题。
• 平衡调整：解决近期来源不平衡问题，确保问题多样性。
• 二元化：将多选问题转换为二元格式，专注于二元结果分析。
• 时间隔离：测试集仅包含2024年6月1日之后发布的问题，早期问题用于训练和验证集。

数据集规模

• 二元问题数量：总计5,516个，其中3,762个用于训练，840个用于验证，914个用于测试。

研究意义

• 研究目标：评估语言模型在预测能力上与人类水平的对比，旨在超越或达到人类预测性能。
• 数据集作用：支持对高质量、相关预测问题的集中分析。

引用信息

• BibTeX： bibtex @misc{halawi2024approaching, title={Approaching Human-Level Forecasting with Language Models}, author={Danny Halawi and Fred Zhang and Chen Yueh-Han and Jacob Steinhardt}, year={2024}, eprint={2402.18563}, archivePrefix={arXiv}, primaryClass={cs.LG} }