polymarket-updown-microstructure

Polymarket加密资产涨跌预测市场（5分钟/15分钟）微观结构数据集提供了六周（2026年5月27日至6月24日）的真实订单簿微观结构、交易记录和由预言机结算的二元市场结果数据。该数据集旨在为研究零售交易者在短期加密资产涨跌预测市场中面临亏损的原因提供真实底层数据，特别关注接近收盘时的逆向选择问题，并支持相关研究论文《honest-backtest》结果的可复现性。数据集包含三个Parquet格式表格：slots表（每个市场为一行，包含市场标识符、标的资产、时段长度、时间戳、行权价、现货价、代币ID、结算方向和手续费率等字段）、book_snapshots表（记录订单簿顶部快照，采样频率在稳态时约每30秒一次，接近收盘时加密至约1Hz，包含时间戳、距收盘秒数、买卖价及规模、价格阶梯、现货价等字段）和pm_trades表（记录公开的真实交易流水，包含时间戳、代币ID、成交价格、成交数量和交易方向等字段）。数据规模在100万到1000万之间，所有市场标识符对应Polymarket上已结束的真实公开市场，并经过严格匿名化处理，仅包含市场观察数据，排除任何私有信息。数据集适用于微观结构研究、逆向选择和执行质量分析、使用《honest-backtest》工具进行真实市场条件下的回测，以及短期二元预测市场的公允价值模型校准。需要注意的是，原始订单簿数据存在高频交叉挂单或虚挂现象，建模时应以实际交易流水为锚点。数据集采用CC BY 4.0许可证发布。

The Polymarket Crypto Asset Price Movement Prediction Market (5-minute/15-minute) Microstructure Dataset provides real order book microstructure, trade records, and oracle-settled binary market outcome data over a six-week period (May 27 to June 24, 2026). This dataset aims to provide real-world underlying data for researching the causes of losses incurred by retail traders in short-term crypto asset price movement prediction markets, with a particular focus on adverse selection near market close, and supports the reproducibility of results from the associated research paper *honest-backtest*.

The dataset includes three Parquet-format tables:
1. **slots table**: Each row represents one market (i.e., a specific price movement prediction time window), containing key fields such as market identifier (condition_id), underlying asset (coin), time window duration (duration), opening and closing timestamps (open_ts, close_ts), strike price (strike), spot prices at opening and closing (spot_at_open/spot_at_close), yes/no token IDs (yes_token_id, no_token_id), resolved settlement side (resolved_side), and fee rate (fee_rate).
2. **book_snapshots table**: Records top-of-book order book snapshots, with a sampling frequency of approximately once every 30 seconds in steady state, and increased to ~1Hz during the final ~5 seconds before each window's close. Fields include timestamp (ts_ms), seconds remaining until close (secs_to_close), best bid/ask prices and sizes for yes/no tokens, top 5-level price ladder strings, spot price (spot), and data stream spot price (ds_spot).
3. **pm_trades table**: Records public real trade logs, including fields such as timestamp (ts_ms), token ID (token_id), execution price (price), execution size (size), and trade direction (taker_buy: 1 indicates taker-initiated buy, 0 indicates taker-initiated sell).

The dataset has a scale between 1 million and 10 million entries (1M < n < 10M). All market identifiers (condition_id, token_id, slug) correspond to real closed public markets on Polymarket. The dataset has undergone strict anonymization, only containing market observation data, and completely excludes any private information such as individual traders' orders, trades, positions, wallet addresses, transaction hashes, strategy labels, or profit and loss logs.

This dataset is applicable to microstructure research, adverse selection and execution quality analysis, backtesting under real market conditions using the `honest-backtest` toolkit, and calibration of fair value models for short-term binary prediction markets. It should be noted that the raw order book data contains frequent overlapping or non-displayed limit orders (affecting approximately 98% of the raw incremental data), and stale price levels in the quote depth are rarely removed. Therefore, modeling should anchor on actual trade logs (pm_trades) rather than solely relying on the displayed prices in the order book. The dataset is released under the CC BY 4.0 license.

原始信息汇总

数据集概述

该数据集记录了 Polymarket 平台上加密货币“Up or Down”二元市场的微观结构数据，覆盖 5 分钟和 15 分钟时间槽，采集时间为 2026 年 5 月 27 日至 6 月 24 日，共六周。

数据构成

包含三个 Parquet 格式表格，每张表对应一个配置：

表格名称	每行代表	关键字段
slots	一个单独的市场时间槽	condition_id, coin, duration, open_ts, close_ts, strike, spot_at_open/close, yes_token_id, no_token_id, resolved_side, fee_rate
book_snapshots	订单簿快照样本（稳态约30秒采样，临近收盘约1Hz）	ts_ms, secs_to_close, yes/no 最优 bid/ask 及数量，前5档 ladder 字符串，spot, ds_spot
pm_trades	一笔真实交易记录	ts_ms, token_id, price, size, taker_buy（1=买入，0=卖出）

• condition_id / token_id / slug 是 Polymarket 公开的市场标识符。
• 不包含任何账户、钱包、订单或操作者自身交易信息。

数据采集与处理

• 采集方式：单一常驻记录器通过 Polymarket 的 CLOB 市场 WebSocket 订阅订单簿和交易数据，同时订阅独立的现货/预言机喂价。book_snapshots 在时间槽最后约5秒内采样频率提升至约1Hz。pm_trades 为原始的公开交易流水。
• 真实结果标注：slots.resolved_side 仅来源于 Polymarket 的 Gamma 权威结算预言机（outcomePrices），通过15分钟定时任务回填，绝不根据现货价格推断。YES 代币在 resolved_side=Yes 时支付1美元，NO 代币同理。
• 匿名化处理：导出过程仅保留三个市场观察表格及固定列列表，排除了所有与操作者相关的信息（如订单、成交、仓位、交易哈希、策略标签等）。

已知注意事项

• 交叉/虚假订单簿：显示的订单簿经常出现交叉现象（例如 yes_ask + no_ask ≠ 1），不应直接用于回测。真实的内部市场应以 pm_trades（实际成交）为锚点。
• 陈旧档位残留：订单簿深度会随时间槽生命周期增长，建议过滤出近期或大额数据，或以交易记录为锚点。
• 数据窗口起始时间：为2026年5月27日，此前（5月11-23日）的早期数据中约39%的resolved_side因基于现货推断的错误而被污染，已排除在外。
• 现货价格来源：spot 字段为 Binance 帧共识，与 Polymarket 结算所用的 data_streams 预言机存在约10个基点的偏差。建议仅使用现货的变动值（相对于 spot_at_open），而非绝对价格。
• 缺少订单单边数据：仅有公开交易记录，订单拒绝/成交选择的非对称性研究需参考论文中的操作者私有账本。

建议用途

• 微观结构研究
• 逆向选择与执行质量分析
• 基于真实数据的回测（可使用 honest-backtest 工具复现论文结果）
• 短期二元市场的公允值模型校准

注意：该数据集不适合作为盈利交易信号的来源，论文显示在该平台上可实现的实际超额收益接近于零。

论文结果复现

可通过以下命令复现论文的标题结果（需安装 honest-backtest 和 Hugging Face CLI）：

bash pip install "honest-backtest[parquet]" huggingface-cli download kinzikdza/polymarket-updown-microstructure --repo-type dataset --local-dir pm_data python -m honest_backtest.examples.no_overpriced pm_data/parquet

预期输出中 edge_real 接近或低于零（实时锚点为 -0.004）。

许可证

CC BY 4.0。Polymarket 市场标识符为公开信息，本数据集未添加任何专有或个人数据。

搜集汇总

数据集介绍

构建方式

该数据集聚焦于Polymarket平台上加密货币的短期涨跌二元市场，系统采集了2026年5月27日至6月24日间共六周的实时微观结构数据。构建过程采用始终在线的记录器，同时订阅Polymarket的中央限价订单簿WebSocket接口与独立的现货/预言机数据流，以~30秒的常规频率采集最优报价快照，并在每个时间窗口收盘前约5秒内将采样频率加密至~1Hz。交易记录直接来自公开的交易打印流，而市场结算结果严格依赖Polymarket的gamma预言机权威输出，杜绝基于现货价格的推断。最终数据以三张Parquet表的形式组织，分别为市场槽位表、订单簿快照表与交易记录表，字段设计精确对应honest-backtest框架的解析需求。

特点

该数据集的核心独特性在于其真实反映了预测市场微观结构的诸多非理想特征。数据显示订单簿中约98%的原始增量存在交叉或虚假报价现象，最优买卖价格之和往往不等于1，这要求任何基于原始簿单价格的回测都必须以实际成交记录作为锚点，否则将沦为虚构。此外，陈旧价位层很少被及时清除，导致深度随市场存续期膨胀。现货价格来源于币安框架共识，与Polymarket结算所用的数据流预言机存在约10个基点的偏差，因此基于绝对价差建模需谨慎。数据集刻意排除了操作者私有的订单、成交及策略日志，仅包含公开的市场观测信息，确保了数据的匿名性与可复现性。

使用方法

推荐使用该数据集进行微观结构研究、逆向选择与执行质量分析，以及基于honest-backtest框架的逼真回测。用户可通过pip安装honest-backtest[parquet]依赖，然后利用huggingface-cli下载Parquet表格至本地目录。如需复现论文核心结论，只需执行python -m honest_backtest.examples.no_overpriced命令并指定数据目录，即可验证该平台上实际可实现的对冲收益接近于零甚至为负。需特别注意的是，数据集不应被视作可盈利交易信号的来源，其核心价值在于为学术研究提供一个真实、经过脱敏处理的预测市场微观结构底稿，而非投资指南。

背景与挑战

背景概述

该数据集由Johan Alvarado及其合作者于2026年创建，聚焦于Polymarket平台上加密货币短期涨跌二元期权市场的微观结构。核心研究问题在于揭示零售交易者在临近收盘时即使拥有预测信号却依然亏损的深层原因——这需要实时订单簿、交易记录与真实结果的高频数据支持。数据集收录了2026年5月27日至6月24日间BTC、ETH、SOL、XRP四种资产的六周真实微观结构数据，涵盖订单簿快照、交易磁带及预言机结算结果，为金融微观结构研究提供了前所未有的实证基础。其发布显著推动了预测市场领域的可重复性研究，尤其为订单簿逆选择效应的量化分析树立了标杆。

当前挑战

该领域面临的挑战主要是高频二元期权市场中零售交易者因信息不对称和流动性缺陷而系统性地遭受逆选择损失，传统基于显示价格的回测模型因忽略订单簿虚假报价而严重失真。数据集构建过程中，研究者需克服三大难题：首先，Polymarket订单簿频繁出现交叉报价与幽灵挂单（约占原始增量的98%），迫使真实执行价格必须以实际交易数据而非账面报价为准；其次，早期数据因基于现货价格的推断方法导致约39%的紧密市场结算结果被污染，经转向仅依赖预言机结果后得以修正；最后，必须严格匿名化处理所有运营者私密数据（如订单、交易、仓位记录），确保公开版本仅包含公开市场信息。

常用场景

经典使用场景

Polymarket Crypto Up/Down Microstructure数据集聚焦于预测市场中短期二元期权（5分钟与15分钟窗口）的微观结构数据，涵盖了真实订单簿快照、成交记录以及预言机结算结果。其最经典的使用场景在于进行高频微观结构分析，研究者可借助该数据集构建接近真实市场环境的回测框架，尤其适用于评估交易者在临近到期时刻面临的逆向选择风险。数据集以亚秒级精度记录收盘前的市场状态，使得对订单簿价差、挂单深度的精细刻画成为可能，从而为检验做市商策略、流动性提供行为以及价格发现机制提供了坚实的数据基础。

实际应用

在实际应用中，该数据集为加密预测市场平台（如Polymarket）的风险管理与流动性工程提供了关键参考。做市商与量化交易团队可基于真实订单簿快照与成交数据，校准最优报价策略、设计抗操纵的清算规则，并评估不同市场结构下的滑点成本。此外，交易所运营者可利用该数据集的跨期数据，识别异常交易模式并优化风控阈值。对于监管部门而言，该数据集揭示的订单簿假象（如频繁出现的交叉价差）为制定更透明的信息披露标准提供了实证依据，进而推动预测市场生态的健康发展。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，其中最核心的是配套发布的honest-backtest开源回测框架。该框架重新定义了去中心化金融环境下的回测范式，强调必须锚定实际成交而非订单簿报价以避免回测偏差。基于此数据集，研究者已开展关于短期二元期权中做市商信息优势的量化分析、预测市场流动性提供者行为模式建模，以及面向预言机结算一致性的定价误差校准等后续工作。此外，该数据集还催生了关于去中心化交易所微观结构与中心化交易所共性与差异的跨平台比较研究，推动了市场微结构理论在Web3领域的系统性验证与拓展。