ulab-ai/swm-bench

SWM-Bench是Social World Models（SWM）的基准数据集，用于预测市场集体信念（即价格）如何响应新闻变化，并确定哪些新闻驱动了这种变化。该数据集聚合了Polymarket和Kalshi市场（从2022年12月到2026年1月）的数据，并包含每次信念更新前可用的新闻，采样侧重于波动显著（新闻驱动）的变动。数据集包含原始价格序列和爬取的新闻（未处理），以及由Qwen3.5-397B和Qwen3-32B后验归因器标注的处理记录，这些标注数据是主要数据集。每个记录包括市场ID、事件ID、问题描述、类别、价格历史、候选新闻、归因分数（表示新闻对价格变动的责任程度）、目标价格、未来价格序列和标准化变动幅度。数据集用于训练和评估社会世界模型，支持预测市场分析和新闻归因任务。SWM-Bench is the benchmark for Social World Models (SWM): predicting how a prediction markets collective belief (its price) shifts in response to news, and which news drives the shift. It aggregates Polymarket and Kalshi markets (Dec 2022 – Jan 2026) with the news available before each belief update, sampled toward volatility-significant (news-driven) moves. The dataset includes raw price series and crawled news (unprocessed), as well as processed records labeled by the Qwen3.5-397B and Qwen3-32B posterior attributors, which form the main dataset. Each record contains market ID, event ID, question, description, categories, price history, candidate news, attributions (with scores indicating responsibility for price moves), target price, future price sequence, and standardized move magnitude. The dataset is designed for training and evaluating social world models, supporting prediction market analysis and news attribution tasks.

搜集汇总

数据集介绍

构建方式

SWM-Bench是专为评估社会世界模型（Social World Models, SWM）而构建的基准数据集，旨在预测预测市场中集体信念（即价格）如何因新闻事件而变动，并识别驱动这一变动的关键新闻。该数据集整合了2022年12月至2026年1月期间Polymarket与Kalshi两大预测市场的交易数据，并结合每次信念更新前可获取的新闻信息，通过针对波动显著（由新闻驱动）的价格变动进行采样，构建了高质量的训练与测试样本。数据集中包含原始市场序列与新闻数据，以及经由Qwen3.5-397B后验归因模型标注的处理后记录，后者作为主要数据集使用。

特点

SWM-Bench具备多重显著特点。首先，它涵盖了多个市场平台与长时间跨度的真实世界预测数据，具备高度生态效度。其次，数据集提供了两类归因标注：由Qwen3.5-397B生成的精确归因标签，以及由Qwen3-32B生成的召回率更高的宽松标签，以适应不同研究需求。此外，数据集精心划分了训练、验证与测试子集，其中训练集包含全部记录以供归因模型学习，而仅含非零归因分数的记录用于训练世界模型，有效提升了模型对新闻驱动事件的专注度。每个样本均包含价格历史、候选新闻、归因分数及未来价格轨迹，支持对信念演变的深层分析。

使用方法

使用SWM-Bench时，首先可通过HuggingFace的`snapshot_download`功能将数据集下载至本地，命令为`snapshot_download("ulab-ai/swm-bench", repo_type="dataset", local_dir="swm-bench")`。随后，研究者可直接加载`Qwen3.5-397B-attributed-data`文件夹中的JSONL格式文件，例如使用`train_with_nonzero_attribution.jsonl`训练世界模型，或使用`test_kalshi.jsonl`与`test_polymarket.jsonl`进行跨市场测试。每个样本包含明确的字段结构，如`history`记录价格序列，`news`提供候选新闻，`attributions`标注新闻的因果责任分数，`target`则为下一时刻价格标签，便于直接用于监督学习或归因推理任务。

背景与挑战

背景概述

在预测市场领域，如何精准刻画集体信念（即市场价格）对新闻事件的动态响应，一直是计算社会科学与人工智能交叉研究的前沿难题。为此，伊利诺伊大学厄巴纳-香槟分校（UIUC）的ULAB研究团队于2026年提出了SWM-Bench基准数据集，旨在驱动社会世界模型（Social World Models, SWM）的发展。该数据集整合了Polymarket与Kalshi两大预测平台自2022年12月至2026年1月的海量市场数据，并同步采集了每次价格变动前可获取的新闻文本，尤其聚焦于由新闻驱动的波动性显著事件。SWM-Bench的发布填补了预测市场与语言模型结合的系统性评估空白，为理解新闻如何影响集体决策提供了标准化测试平台，对推动可解释的AI预测系统研究具有深远影响。

当前挑战

SWM-Bench所应对的核心领域挑战在于：传统时间序列模型难以捕捉非结构化新闻文本对市场价格的因果影响，而现有自然语言处理基准又缺乏对动态概率预测任务的适配。具体而言，模型需同时解决两个子问题：其一，预测给定新闻上下文后市场价格的概率变化；其二，从海量候选新闻中识别出驱动价格变动的关键因素。在数据构建过程中，团队面临多重困难：首先，需要从异构数据源（市场交易序列与新闻爬取）中精确对齐时间戳，确保新闻在价格变动前已被发布；其次，设计基于大型语言模型（如Qwen3.5-397B）的后验归因机制以自动标注新闻的责任分数，但该过程需平衡归因的精确性与覆盖的全面性，导致数据集中含零分数新闻的记录占比高达75%，给模型训练带来稀疏监督信号难题。

常用场景

经典使用场景

在预测市场与新闻事件因果推断的交汇领域，SWM-Bench被设计为评估社会世界模型的关键基准。其经典使用场景在于衡量模型能否依据历史价格轨迹与海量候选新闻，精准预测预测市场中集体信念（即价格）的变动方向与幅度。研究者可借助该数据集训练和测试两类核心模型：归因模型（attributor）需在知晓未来价格变动后，回溯并量化每篇候选新闻对价格波动的影响权重；而世界模型（world model）则需在不预知未来结果的前提下，综合历史价格与新闻报道，自主推断下一时刻的信念演化。这一范式为探究新闻事件如何塑造群体决策提供了严苛的实验平台。

衍生相关工作

SWM-Bench的发布催生了一系列富有影响力的衍生工作。最直接的是，基于其归因标签的构造方法，学界涌现出多种后验与先验归因模型的变体，如利用知识蒸馏技术将大语言模型的归因能力迁移至轻量级模型。同时，该数据集所定义的世界模型预测任务，激发了融合图神经网络与注意力机制的新型架构，旨在更高效地编码新闻序列与价格历史之间的交互关系。此外，SWM-Bench还启发了跨市场（如股票、加密货币）的事件驱动预测基准的建立，推动社会世界模型从单一预测市场向更广泛的集体智能场景扩展。

数据集最近研究

最新研究方向

SWM-Bench数据集的诞生标志着预测市场与社会科学智能融合的前沿突破。鉴于传统时序预测模型难以捕捉新闻事件对群体信念的动态塑造，该基准创新性地将Polymarket与Kalshi两大预测市场的价格波动与实时新闻流耦合，构建了面向社会世界模型的评估体系。其核心价值在于：第一，通过后验归因机制量化每条新闻对市场信念转移的因果贡献，开辟了由大语言模型驱动的新闻驱动因子分析新范式；第二，聚焦高波动性事件窗口，解决了金融与政治领域极端事件预测的稀疏性问题。该数据集推动了从简单价格建模向因果-语义协同推理的跃迁，为理解集体智能在信息冲击下的演化规律提供了可量化的实验场，尤其对选举预测、经济指标预期等热点事件的风险建模具有显著意义。