autoresearch-crypto-data

该数据集是Binance公开发布的加密货币市场数据的整理、压缩和审计副本，来源于Binance数据门户（data.binance.vision），旨在为研究人员提供可复现的点时间研究数据。数据集覆盖了从2020年1月1日至2026年7月31日期间，针对一个精选的流动性市场（包括19个USD-M永续合约、10个COIN-M永续合约、BVOL指数以及5个期权表面标的）的完整数据。数据以Parquet格式存储，使用Zstandard压缩，并附有源清单文件（包含源键、SHA-256哈希、行数、时间边界和审计信息）。数据集包含以下市场：spot（现货）、um（USD-M期货）、cm（COIN-M反向期货）、option（期权表面或波动率指数）。数据集目录包括价格与聚合数据集（如K线、资金费率、指标、BVOL指数、期权EOH汇总）和事件数据集（如聚合交易、逐笔交易、最优买卖报价、深度、清算快照）。数据规模为307个市场/数据集/股票组，其中220个聚合或采样快照组每个对应一个全历史Parquet文件，87个原生事件组存储为完整的、不重叠的月度Parquet分区。该数据集适用于金融时间序列分析、点时间研究、跨市场套利、波动率建模、量化策略回测等任务。数据不包含账户、订单、凭证或其他私人信息。This dataset is a curated, compressed, and audited copy of the cryptocurrency market data publicly released by Binance, sourced from the Binance data portal (data.binance.vision), designed to provide researchers with reproducible point-in-time research data. It covers the complete data from January 1, 2020 to July 31, 2026, for a selected set of liquid markets (including 19 USD-M perpetual contracts, 10 COIN-M perpetual contracts, BVOL index, and 5 option surface underlyings). Data is stored in Parquet format with Zstandard compression, accompanied by source manifest files containing source keys, SHA-256 hashes, row counts, time boundaries, and audit information. The dataset includes the following markets: spot, um (USD-M futures), cm (COIN-M inverse futures), option (option surface or volatility index). The dataset directory includes price and aggregated datasets (such as klines, funding rates, metrics, BVOL index, option EOH summary) and event datasets (such as aggregated trades, individual trades, top bid/ask quotes, depth, liquidation snapshots). The data scale is 307 markets/datasets/stock groups, of which 220 aggregated or sampled snapshot groups each correspond to a full-history Parquet file, and 87 native event groups are stored as complete, non-overlapping monthly Parquet partitions. This dataset is suitable for financial time series analysis, point-in-time research, cross-market arbitrage, volatility modeling, quantitative strategy backtesting, and other tasks. The data does not contain accounts, orders, credentials, or other private information.

原始信息汇总

数据集概述

该数据集为 Binance 公开加密货币市场数据，由 tmmycruise/autoresearch-crypto-data 提供，主要面向可复现的点对点（point-in-time）研究场景。数据集基于 Binance 官方免费发布的 data.binance.vision 数据，经过类型化、压缩和审计处理，以 Parquet 格式存储。

覆盖范围与验证

• 资产范围：固定于 2026-08-20 选定的流动性较高的交易对，包括 19 个 USDT 本位永续合约、10 个币本位永续合约、2 个 BVOL 指数，以及 5 个期权标的。
• 时间范围：2020-01-01 至 2026-07-31。
• 覆盖定义：并非所有 Binance 上市品种，而是上述固定交易对和数据集矩阵的完整覆盖。共包含 307 个市场/数据集/交易对分组（220 个聚合快照组 + 87 个原生事件组）。
• 验证机制：机器可读的覆盖率报告位于 crypto/binance/v1/metadata/coverage.json，需以 finished: true、scope.verified: true 等标志确认最终完成。
• 数据组织：每个数据对象附带 source_manifest.json，记录源文件、哈希、行数、时间范围等审计信息；Parquet 文件采用 Zstandard 压缩。

数据布局与访问方式

• 根目录：crypto/binance/v1/
• 文件选择规则：优先使用 all_history/data.parquet（聚合数据）；若不存在，再读取 year=*/period=*/data.parquet 分片（事件数据），两者不可混合使用。
• 访问方式：支持通过 hf download CLI、PyArrow + HfFileSystem 或 DuckDB 读取。建议在 Hugging Face 路径中固定 revision（Commit SHA）以保证可复现性。

数据集目录

价格与聚合数据集

数据集	市场	主要时间字段	重要字段
klines	现货、USDT本位、币本位	open_time, close_time	OHLC、成交量、成交笔数、主动买入量
markPriceKlines	USDT本位、币本位	open_time, close_time	标记价格 OHLC
indexPriceKlines	USDT本位、币本位	open_time, close_time	指数价格 OHLC
premiumIndexKlines	USDT本位、币本位	open_time, close_time	溢价指数 OHLC
fundingRate	USDT本位、币本位	calculation_time	资金费率及时间间隔
metrics	USDT本位、币本位	create_time	未平仓合约、交易者多空比等
BVOLIndex	期权	calculation_time	BTC/ETH 波动率指数值
EOHSummary	期权	source_date, hour	每小时期权 OHLCV、IV、希腊字母等（截至 2023-10-23）

事件数据集

数据集	市场	主键或时间	重要字段
aggTrades	现货、USDT本位、币本位	aggregate_trade_id, event_time	价格、数量、买卖方向
trades	现货、USDT本位、币本位	trade_id, event_time	价格、数量、主动买卖标志
bookTicker	USDT本位、币本位	update_id, event_time	最优买卖价格及数量
bookDepth	USDT本位、币本位	event_time, percentage	抽样深度及名义价值
liquidationSnapshot	币本位	完整源行	强制平仓方向、价格、数量等

数据访问与使用注意事项

• 时间处理：整数时间戳会保留原始值（{name}_raw）并转换为 UTC 时区的 timestamp[ns]。
• 跨市场标识：market（spot/um/cm/option）与 symbol 需同时使用，避免不同市场间同名资产的混淆。
• 单位差异：币本位合约（COIN-M）的成交量、深度等使用合约数量，与 USDT本位（USD-M）的基础资产数量不可直接比较。
• 点对点连接：使用数据集各自的安全可用时间（如分钟 K 线用 close_time、资金费率为 calculation_time），避免未来函数。文档提供 DuckDB 的 ASOF JOIN 示例。
• 质量规则：需参考覆盖率报告确认缺失区间，使用数据集特有的身份键去重，保留原始时间戳用于诊断，并对不可靠字段（如 EOHSummary 的 volume_usdt）进行单位校验。

数据源与合规说明

该数据集仅包含 Binance 公开市场数据，不包含账户、订单、凭证等私有信息。使用前需自行确认 Binance 当前的条款、地区可用性及适用限制。数据可能存在源中断、退市、部分月份缺失或提供商修正等情况，仅供研究使用。

搜集汇总

数据集介绍

构建方式

本数据集源自币安公开市场数据，经开源流水线Autoresearch精心构建，旨在为可复现的时序研究提供规范化档案。其构建流程涵盖严格的校验机制，包括覆盖率报告与完整性验证，确保每个市场、数据集与交易对均得到彻底审计。数据以Parquet格式存储，采用Zstandard压缩，并附有源清单以记录来源哈希与行数，从而保证数据的可追溯性与可信度。

特点

该数据集的特点在于其精细的时间点正确性设计，明确区分了数据可用时间与事件时间，有效避免未来函数偏差。其覆盖范围聚焦于高流动性的USD-M与COIN-M永续合约，并辅以期权市场数据，构建了层次分明的数据集目录。此外，数据提供了原生时间戳与标准化UTC时间戳的双重表示，适应不同研究需求。对于大规模事件流，采用按月分区的存储策略，兼顾了下载与处理的实用性。

使用方法

使用本数据集时，研究者应优先依据覆盖率报告判断数据完整性，并利用Hugging Face的下载工具或PyArrow接口高效访问特定文件。对于点对点连接分析，推荐采用DuckDB的ASOF JOIN功能，以实现基于时间可用性的精确匹配。关键实践包括固定修订号以保证可复现性，并在处理时间戳时明确时区设置，从而确保分析结果的准确性与科学性。

背景与挑战

背景概述

该数据集由研究者于2026年创建，旨在为加密货币市场提供标准化的、可复现的历史市场数据。它基于Binance公开的数据档案，通过开源管道Autoresearch进行构建，确保数据的完整性和可验证性。核心研究问题聚焦于如何构建一个覆盖多个市场（现货、USD-M、COIN-M期货及期权）的统一数据集，以支持点对点的时间序列研究，避免数据偏差。其影响力在于，通过提供高精度的市场数据快照和严格的数据质量验证，为量化金融、机器学习建模及市场微观结构研究提供了可靠的数据基础。

当前挑战

该数据集面临的挑战包括：首先，在领域问题层面，加密货币市场数据具有高噪声、非平稳性和跨市场异质性，需要处理不同市场（如现货与期货）的合约规格差异和价格精度变化，以确保数据可比性和分析准确性。其次，在构建过程中，需处理Binance数据档案的不完整性（如部分市场或时间段的缺失）、事件数据与聚合数据的区分，以及点对点的时间对齐问题，避免未来函数偏差。此外，数据验证复杂性高，需要确保远程文件的完整性和校验，以及不同时间戳精度（毫秒与微秒）的兼容转换，这要求建立严格的验证框架和审计流程。

常用场景

经典使用场景

在金融时间序列与市场微观结构的研究领域中，高质量、可复现的公开市场数据是实证分析的基石。本数据集系统性地整理了币安平台发布的加密货币市场数据，以类型化、压缩且经过审计的Parquet格式呈现，专为时间点（point-in-time）研究设计。其经典使用场景涵盖对USD-M和COIN-M永续合约、期权指数及期权表面的历史数据分析，包括分钟级OHLCV价格、资金费率、持仓量、交易者多空比率、订单簿深度快照及清算事件等。研究者可借助DuckDB或PyArrow进行高效查询，并依据规范化的时间戳与跨市场映射表，开展精确的事件研究、因子构建及市场效率检验。

实际应用

在实际应用中，此数据集为量化投资机构、风险管理部门及金融科技公司提供了宝贵的底层基础设施。它支持构建稳健的回测系统，用于评估高频交易策略、做市算法及套利模型的表现。例如，通过订单簿深度与清算快照数据，可实时监测市场压力并优化风险限额；利用资金费率与多空持仓比等指标，可设计期限结构交易策略。此外，其标准化的Parquet格式便于与主流数据分析平台（如DuckDB、Spark）无缝集成，加速从数据探索到生产环境部署的转化，降低企业自建数据管线的成本与维护负担。

衍生相关工作

此数据集的出现，有力推动了加密货币领域一系列开创性研究工作的涌现。基于其精细的逐笔交易与订单簿数据，学者们深入探讨了价格发现过程、市场流动性韧性及闪崩的动态机制。同时，结合清算快照数据，研究者对强制平仓的传染效应及其在跨资产间的传播进行了量化分析，深化了对加密市场系统性风险的理解。此外，该数据集所支持的期权表面与隐含波动率数据，为衍生品定价模型的校准及波动率风险溢价的实证研究提供了坚实依据。这些衍生工作共同构建了一个更为丰富与严谨的加密货币实证研究图景，推动了该领域从描述性分析向因果推断的范式演进。