fincept-crypto-lake

Fincept加密货币市场微观结构数据库是一个综合性的加密货币市场数据集，涵盖Polymarket预测市场、Binance现货和Chainlink预言机报告的数据。数据截止日期为2026年8月2日。数据集包含以下子集：market_window（市场窗口）、settlement（结算）、pm_order_book（Polymarket订单簿）、pm_quotes（Polymarket报价）、pm_trades（Polymarket交易）、binance_spot_agg_trades（Binance现货聚合交易）、binance_futures_bookdepth（Binance期货深度）、binance_futures_metrics（Binance期货指标）、perp_history（永续合约历史）、btc15m_sheet（15分钟BTC特征矩阵）。总文件数为1089个，总大小约为14.68 GB，数据以Parquet格式存储。所有数据经过分片合并、行数验证，并保留了Hive分区列（如date、asset、coin、market_type、symbol）。其中btc15m_sheet的ledger.parquet是一个标注过的特征矩阵，附带列质量文档说明不可靠的列。该数据集适用于加密货币市场微观结构分析、预测市场建模、市场微观结构特征工程、高频交易策略研究等任务。Fincept Cryptocurrency Market Microstructure Database is a comprehensive cryptocurrency market dataset covering data from Polymarket prediction markets, Binance spot markets, and Chainlink oracle reports. The data cutoff date is August 2, 2026. The dataset includes the following subsets: market_window (market window), settlement, pm_order_book (Polymarket order book), pm_quotes (Polymarket quotes), pm_trades (Polymarket trades), binance_spot_agg_trades (Binance spot aggregated trades), binance_futures_bookdepth (Binance futures order book depth), binance_futures_metrics (Binance futures metrics), perp_history (perpetual contract history), btc15m_sheet (15-minute BTC feature matrix). It contains a total of 1089 files with an overall size of approximately 14.68 GB, and all data is stored in Parquet format. All data has undergone sharding and merging, row count validation, and retains Hive partition columns such as date, asset, coin, market_type, and symbol. Specifically, the ledger.parquet file under btc15m_sheet is a labeled feature matrix, accompanied by a column quality document that identifies unreliable columns. This dataset is applicable to tasks such as cryptocurrency market microstructure analysis, prediction market modeling, market microstructure feature engineering, and high-frequency trading strategy research.

原始信息汇总

数据集概述

Fincept crypto market microstructure lake 是一个加密市场微观结构数据集，涵盖 Polymarket 加密预测市场、Binance 现货市场以及 Chainlink 预言机报告数据。数据截止至 2026-08-02（含）。

子集配置

配置名称	文件数	大小	说明
market_window	63	0.16 GB	市场窗口数据
settlement	4	0.02 GB	结算数据
pm_order_book	248	6.35 GB	Polymarket 订单簿数据
pm_quotes	244	1.95 GB	Polymarket 报价数据
pm_trades	152	1.98 GB	Polymarket 成交数据
binance_spot_agg_trades	62	0.54 GB	Binance 现货聚合成交数据
binance_futures_bookdepth	62	0.03 GB	Binance 合约深度数据
binance_futures_metrics	62	0.00 GB	Binance 合约指标数据
perp_history	181	0.01 GB	永续合约历史数据
btc15m_sheet	4	0.01 GB	BTC 15分钟特征矩阵
总计	1,089	14.68 GB

数据格式与结构

• 所有数据文件均为 Parquet 格式。
• 每个子集均提供 train 分割，数据路径位于 data/<config_name>/**/*.parquet。
• 小源文件已合并为分片（shards），Hive 分区值（date、asset、coin、market_type、symbol）作为列保留。
• 每个分片均已通过源数据的行数验证。

特殊说明

• btc15m_sheet/ledger.parquet 是一个带标签的特征矩阵，其中部分列被标记为不可靠，具体参见 ledger_column_quality.md 文件。

许可证

该数据集使用 other 许可证（非标准开源许可证）。

搜集汇总

数据集介绍

构建方式

fincept-crypto-lake数据集构建了涵盖Polymarket加密货币预测市场、Binance现货及Chainlink预言机报告的全面微观市场结构数据湖。其结构采用多配置分区组织，包含市场窗口、结算、订单簿、报价、交易、聚合交易、期货深度、期货指标、永续合约历史及BTC 15分钟标签特征矩阵等十个子集。数据以Parquet格式存储，经由Hive分区保留日期、资产、币种、市场类型和符号等维度信息，并进行了行数校验，确保数据完整性与一致性。

特点

该数据集的一大特色在于其丰富的市场微观结构维度，覆盖了从订单簿到逐笔交易的精细粒度数据，适用于高频量化研究与市场行为分析。尤其值得一提的是，btc15m_sheet子集提供了带标签的特征矩阵，便于监督学习任务，同时附带的字段质量说明文档有助于识别不可靠列，增强了数据可用性。整体规模约14.68 GB，包含1,089个文件，时间跨度截至2026年8月2日，兼顾了深度与广度。

使用方法

使用该数据集时，用户可通过HuggingFace datasets库按需加载特定配置，例如访问market_window或pm_trades子集进行市场窗口分析或交易数据研究。每个配置对应独立的Parquet文件路径，支持流式或批量读取。对于btc15m_sheet内的ledger.parquet，建议参考ledger_column_quality.md以剔除不可靠字段。数据集既适合用于构建预测模型，也可用于回测交易策略或研究市场微观结构理论，为加密货币市场研究提供坚实的数据基石。

背景与挑战

背景概述

随着加密货币市场的蓬勃发展，高频交易、算法交易及市场微观结构分析对高质量、细粒度数据的渴求日益加剧。Fincept Crypto Lake 数据集应运而生，由 Fincept 团队构建，旨在整合 Polymarket 预测市场、Binance 现货及期货交易、以及 Chainlink 预言机报告等多源异构数据，形成统一、可用的研究资源。该数据集覆盖至 2026 年 8 月 2 日，包含超过千个文件，数据规模约 14.68 GB，涵盖订单簿、报价、成交、结算等关键微观结构信息，为学术界和工业界研究市场效率、价格发现、预测市场动态及跨市场联动提供了宝贵的基础数据支撑，对金融科技领域的研究具有重要推动作用。

当前挑战

该数据集所应对的领域挑战在于加密货币市场高度分散、噪声大、数据非结构化，难以直接用于建模，而其构建过程亦困难重重。其一，多源数据的整合与对齐面临异构格式、时间戳精度不一致及市场时段差异的难题，需精心设计分区与合并策略；其二，原始文件庞大且零散，需高效合并分片并保留原始分区键，同时确保每片数据行数准确无误；其三，数据质量参差不齐，如某些特征列被标记为不可靠，需额外标注与清洗；其四，实时性要求高，覆盖至未来日期的数据需持续更新与验证，以维持数据集的时效性与完整性。

常用场景

经典使用场景

该数据集整合了Polymarket加密预测市场、Binance现货及期货市场以及Chainlink预言机报告的微观结构数据，为研究加密资产的价格发现机制、市场流动性、订单簿动态等经典问题提供了全面而精细的数据基础。研究者可利用其高频订单簿、交易记录和结算数据，深入剖析预测市场与传统加密市场之间的信息传递与价格关联，是量化分析市场微观结构和行为金融学的宝贵资源。

衍生相关工作

基于该数据集，研究者可衍生出一系列高质量工作，例如开发加密资产价格效率评估框架、构建预测市场与传统市场间的信息溢出指数，或利用机器学习方法对订单簿动态进行建模以预测短期价格走势。其多源数据融合特性亦为开展跨市场套利策略的学术探讨和实证研究提供了理想试验场，衍生工作有望在顶级金融学期刊和量化金融会议上产出有影响力的成果。

数据集最近研究

最新研究方向

该数据集聚焦于加密资产预测市场与中心化交易所的微观结构数据融合，为探究信息在多元化交易场所间的传导机制提供了前沿研究基础。其涵盖Polymarket预测市场的订单簿、报价与成交记录，以及Binance现货和衍生品的深度聚合数据，结合Chainlink预言机报告，开创了传统金融高频数据范式在去中心化金融领域的应用新维度。近期研究热点包括基于预测市场与现货市场价差的统计套利策略、利用订单簿不平衡特征预测加密资产短期价格波动，以及通过结算数据验证市场有效性。该数据集对理解Web3经济中的价格发现过程、流动性动态及跨市场风险传播具有重要参考价值，为量化研究与市场微观结构理论在新型市场下的验证提供了宝贵资源。