mktdata-binance-2026
收藏资源简介：
该数据集包含2026年Binance交易所USDT永续合约的完整L2订单簿增量数据（deltas）和逐笔成交数据（trades）。数据由goldmine市场数据记录器采集，并从其内部GMKT v1格式无损转换为zstd压缩的Parquet文件。数据集按年分仓（mktdata-binance-2026），文件组织为{SYMBOL}/{YYYY-MM}/{SYMBOL}_{YYYYMMDD}_deltas.parquet 和 _trades.parquet 格式，每个交易日一个文件。数据规模在10亿至100亿行之间。订单簿增量表（deltas）每行对应一次订单簿更新，包含字段：action（增/改/删/清空）、side（买/卖）、price_raw和price_prec（定点数价格）、size_raw和size_prec（定点数数量）、order_id、flags（bit5标记快照burst）、sequence、ts_event和ts_init（UTC纳秒时间戳）。成交表（trades）每行对应一笔成交，包含price_raw/prec、size_raw/prec、aggressor（买方/卖方主动）、trade_id（字符串）、ts_event和ts_init。快照内嵌在增量流中：每约60秒会注入一批标记F_SNAPSHOT的增量行，无单独快照表。该数据集适用于时间序列预测、订单簿重建、市场微观结构分析、量化策略回测等研究场景。数据按原样提供，仅限研究用途，不保证准确性和完整性。
This dataset contains complete L2 order book delta data and trade-by-trade transaction data for USDT perpetual contracts on Binance Exchange in 2026. The data was collected by the Goldmine market data recorder, and losslessly converted from its internal GMKT v1 format into zstd-compressed Parquet files. The dataset is partitioned by year under the directory mktdata-binance-2026, with files organized in the format {SYMBOL}/{YYYY-MM}/{SYMBOL}_{YYYYMMDD}_deltas.parquet and {SYMBOL}_{YYYYMMDD}_trades.parquet, with one file per trading day. The total data scale ranges from 1 billion to 10 billion rows. The order book delta table (deltas) has one row per order book update, with the following fields: action (insert/update/delete/clear), side (buy/sell), price_raw and price_prec (fixed-point price), size_raw and size_prec (fixed-point quantity), order_id, flags (bit 5 marks snapshot burst), sequence, ts_event and ts_init (UTC nanosecond timestamps). The transaction table (trades) has one row per trade, containing price_raw/prec, size_raw/prec, aggressor (buyer/seller initiator), trade_id (string), ts_event and ts_init. Snapshots are embedded in the delta stream: a batch of delta rows marked with F_SNAPSHOT is injected approximately every 60 seconds, and there is no separate snapshot table. This dataset is suitable for research scenarios including time series forecasting, order book reconstruction, market microstructure analysis, quantitative strategy backtesting and other related research. The data is provided as-is, for research purposes only, and no guarantees are made regarding its accuracy or completeness.
数据集概述：BINANCE USDT永续合约L2订单簿+成交数据（2026年）
该数据集由 rogerdehe 在 Hugging Face 上发布，记录了 Binance 交易所 USDT 保证金永续合约 的完整深度 L2 订单簿增量（Deltas） 与 逐笔成交（Trades） 原始市场微观结构数据。数据以 zstd 压缩的 Parquet 格式存储，由 goldmine 市场数据记录器生成，并从其内部 GMKT v1 格式无损转换而来。
基本信息
- 许可证: MIT
- 任务类型: 时间序列预测
- 语言: English
- 标签: 加密货币、金融、订单簿、L2、市场微观结构、逐笔成交、永续合约、Binance
- 数据规模: 10亿至100亿行（1B<n<10B）
- 状态: 持续扩充中（live recording）
数据内容与结构
数据文件
整个仓库按交易对和日期组织，结构如下：
{SYMBOL}/{YYYY-MM}/{SYMBOL}_{YYYYMMDD}deltas.parquet {SYMBOL}/{YYYY-MM}/{SYMBOL}{YYYYMMDD}trades.parquet {SYMBOL}/{YYYY-MM}/{SYMBOL}{YYYYMMDD}_control.jsonl (仅在发生断连/重连时存在)
每个交易对一个文件夹，每个 UTC 日一个文件。
数据集配置（Configs）
通过 Hugging Face 的 load_dataset 可加载两个子集：
orderbook：对应所有*_deltas.parquet文件（订单簿增量）trades：对应所有*_trades.parquet文件（逐笔成交）
数据模式（Schema）
deltas.parquet（订单簿更新，每行一条增量）
| 列名 | 类型 | 含义 |
|---|---|---|
action |
uint8 | 1=新增 · 2=更新 · 3=删除 · 4/5=清空 |
side |
uint8 | 1=买盘 · 2=卖盘 |
price_raw / price_prec |
int64 / uint8 | 定点数；实际价格 = price_raw · 10^-price_prec |
size_raw / size_prec |
uint64 / uint8 | 定点数；实际数量 = size_raw · 10^-size_prec |
order_id |
uint64 | 订单ID |
flags |
uint8 | bit 5（值32）= F_SNAPSHOT，表示该行属于周期性全量快照 |
sequence |
uint64 | 序号 |
ts_event / ts_init |
int64 | 交易所事件时间 / 本地接收时间，UTC纳秒 |
trades.parquet（逐笔成交，每行一笔）
包含 price_raw/price_prec、size_raw/size_prec、aggressor（1=主动买入，2=主动卖出）、trade_id（字符串）、ts_event、ts_init（UTC纳秒）。
价格和数量均以无损定点数存储（
raw+prec），真实值 =raw * 10.0 ** -prec。
关键特点
- 快照嵌入增量流：每约60秒，以一个带
F_SNAPSHOT标志的增量行突发形式注入一次全量订单簿快照，没有单独的快照表。可通过过滤flags & 32提取快照。 - 时间戳：统一为UTC纳秒。
- 重建订单簿：在任意时刻
t，取t之前最近的一个快照突发（先是一个带F_SNAPSHOT的CLEAR操作，随后是其ADD行），然后重放该时刻之前的增量即可。
使用示例
python
通过 datasets 加载整个子集
from datasets import load_dataset ob = load_dataset("rogerdehe/mktdata-binance-2026", "orderbook") # 或 "trades"
或直接下载单个文件
from huggingface_hub import hf_hub_download import pandas as pd p = hf_hub_download("rogerdehe/mktdata-binance-2026", "BTCUSDT-PERP/2026-07/BTCUSDT-PERP_20260716_deltas.parquet", repo_type="dataset") df = pd.read_parquet(p) df["price"] = df["price_raw"] * 10.0 ** -df["price_prec"] snapshots = df[df["flags"] & 32 != 0] # 周期性全量快照
注意事项
- 数据按“一个交易所一个年份一个仓库”分片（
mktdata-binance-<year>），本仓库对应 2026年。 - 数据按原样（as-is） 提供，仅用于研究，不保证准确性和完整性。
- 数据集查看器通过上述两个配置（
orderbook/trades）工作，也可直接加载文件。
适用场景
该数据集适用于时间序列预测、订单簿动态建模、市场微观结构分析、加密货币交易策略研究、流动性分析等金融研究领域。
