Prophet-Arena-Subset-100

Prophet-Arena-Subset-100数据集包含来自Prophet Arena平台的100个事件样本，这些样本包含了事件的完整源数据、市场信息和提交细节，用于基准测试。数据集中的事件类别分布包括体育、政治、经济、娱乐和其他，但并不完全匹配Prophet Arena平台上的完整事件分布。数据以CSV格式存储，并提供了两个工具脚本用于事件的预测和评估。

原始信息汇总

Prophet-Arena-Subset-100 数据集概述

数据集基本信息

• 许可证: MIT
• 语言: 英语
• 样本数量: 100个事件

数据集内容

数据集包含来自Prophet Arena平台的100个样本事件，包含完整的源数据、市场信息和用于Prophet Arena基准测试的提交详情。

注意: 许多事件结果被多次预测，本数据集仅采用每个事件的首次预测（称为首次提交）。

事件类别分布

类别	数量
体育	75
政治	5
经济	5
娱乐	5
其他	10

注意: 此子集的类别分布近似但不完全匹配Prophet Arena平台事件的完整分布。体育事件数量较多是因为它们在Kalshi平台上的高代表性。

数据格式

原始数据以CSV格式存储（subset_data_100.csv），包含以下列：

主表结构

列名	类型	描述
event_ticker	字符串	事件的唯一标识符
title	字符串	事件的人类可读标题
category	字符串	事件的类别分类
markets	JSON数组	此事件的预测市场列表
close_time	日期时间	事件停止预测的时间
market_outcome	JSON对象	每个市场是否被判定为真(1)或假(0)
sources	JSON数组	首次提交中使用的源列表
market_info	JSON对象	快照时的市场交易数据
snapshot_time	日期时间	市场数据捕获的时间
submission_id	字符串	此事件的首次提交ID
submission_created_at	日期时间	首次提交创建的时间

源数据模式

每个事件包含sources字段，包含首次提交中的源对象数组：

字段	类型	描述
summary	字符串	源内容的摘要
source_id	字符串	源的唯一数据库ID
ranking	整数	人工排名（1=评分者中最受欢迎）
title	字符串	源文章/内容的标题
url	字符串	原始源的URL

市场信息模式

每个事件包含market_info字段，包含首次提交时每个市场的交易数据：

字段	类型	描述
last_price	浮点数	最新交易价格
yes_ask	浮点数	"是"结果的当前要价
no_ask	浮点数	"否"结果的当前要价
其他市场元数据（代码、规则等）

相关工具

数据集提供两个分析工具：standalone_predictor.py（运行LLM预测）和standalone_evaluator.py（评估预测结果）。

注意事项

• 所有提示、源和市场数据均由基准LLM在其预测时准确使用
• 数据集捕获每个事件的首次提交以提供一致的基线
• 市场信息提供提交时的真实市场共识数据
• 源仅过滤到特定提交中实际使用的那些
• 独立预测器复制生产预测管道以供研究使用

搜集汇总

数据集介绍

构建方式

在预测市场研究领域，Prophet-Arena-Subset-100数据集通过系统化采样方法构建而成。该数据集从Kalshi平台提取100个完整事件样本，涵盖体育、政治、经济、娱乐及其他五大类别，其中体育类事件占比75%以反映源平台的分布特征。每个事件均包含首次预测提交时的完整市场数据、来源信息和提交细节，通过精确的时间戳记录确保数据时序一致性，并采用结构化JSON格式存储多维市场指标。

使用方法

研究者可通过配套的标准化工具链进行预测任务实施与性能评估。使用standalone_predictor.py脚本连接大型语言模型API，输入指定CSV文件即可生成事件预测结果；继而通过standalone_evaluator.py计算布雷尔分数和平均回报率等核心指标。工具支持异步并行处理、自定义事件选择及详细错误日志输出，预测结果将完整保存概率分布和推理过程，为预测市场算法研究提供端到端的分析框架。

背景与挑战

背景概述

Prophet-Arena-Subset-100数据集由Prophet Arena平台于当代预测科学快速发展时期构建，旨在为事件预测领域提供标准化评估基准。该数据集精选自Kalshi平台的100个代表性事件，涵盖体育、政治、经济等多领域，每个事件包含完整的市场数据、来源信息和首次提交记录。其核心研究在于通过结构化数据支撑预测模型的性能验证，推动预测市场与人工智能的交叉研究，对增强预测系统的可靠性与透明度具有重要学术价值。

当前挑战

该数据集需解决事件结果预测中的时序一致性与市场动态建模挑战，包括如何准确捕捉多事件类别下的概率演化规律及市场共识反映的群体智慧。构建过程中面临原始数据异构性整合难题，需协调不同事件类型的来源可信度评估，并确保首次提交记录的时间对齐与数据完整性。此外，市场数据实时性与预测提交记录的对应关系需精密校准，以维持基准评估的公平性与可复现性。

常用场景

经典使用场景

在预测市场研究领域，Prophet-Arena-Subset-100数据集为评估语言模型的概率预测能力提供了标准化测试平台。研究者通过该数据集模拟真实市场环境，分析模型对体育赛事、政治事件等多元场景的预测准确性，尤其关注模型如何整合市场实时数据与多源信息进行综合判断。

解决学术问题

该数据集有效解决了预测市场中语言模型校准度评估的学术难题，通过提供带时间戳的市场数据与真实结果标签，支持对预测模型进行Brier评分与风险收益分析。其意义在于建立了连接机器学习与经济学研究的桥梁，为量化预测不确定性提供了重要基准。

实际应用

实际应用中，该数据集被金融机构用于开发市场预测系统，辅助进行风险中性策略的量化交易。媒体机构则利用其构建事件真实性验证工具，通过分析预测概率与市场共识的偏差，提升对突发事件的研判能力。

数据集最近研究

最新研究方向

在预测市场与人工智能交叉领域，Prophet-Arena-Subset-100数据集正推动大型语言模型在实时事件预测中的性能评估研究。当前前沿聚焦于通过集成市场动态数据与多源信息，提升模型对复杂事件的概率预测准确度。热点方向包括利用市场共识价格优化预测校准、开发风险中性策略下的收益评估框架，以及探索多模态信息融合对预测不确定性的影响。该数据集为量化金融与AI预测模型的交叉研究提供了标准化基准，对增强预测市场的透明度和算法交易策略具有重要价值。