klines-gateio

Gate.io USDT OHLCV K线数据集是一个用于时间序列预测的金融数据集，专注于加密货币市场。它提供了 Gate.io 交易所上 USDT 计价市场的历史 OHLCV（开盘价、最高价、最低价、收盘价、成交量）K线数据，以 zstd 压缩的 Parquet 格式存储。数据集覆盖约 3,300 个现货 USDT 交易对，历史数据可追溯至 2013 年（针对最早上市的交易对），并包含期货市场（U本位永续合约）的数据，但期货历史较短（仅约 180 天）。时间帧包括 5分钟、15分钟、1小时、4小时和1日（所有交易对），以及1分钟（适用于约 1,300 个交易对的子集）。数据按市场（spot 或 futures）、时间帧和交易对组织为独立的 Parquet 文件，每个文件包含以下列：date（UTC 时间戳）、open、high、low、close（均为浮点数价格）和 volume（浮点数成交量）。该数据集适用于加密货币价格预测、量化交易回测、市场分析等研究任务。数据为静态快照（截至约2025年5月），计划定期更新，初始数据源来自 DigiTuccar 的 HistoricalDataForTradeBacktest 快照。使用需注意：数据集查看器被禁用，需直接加载文件；时间戳为 UTC；数据按原样提供，不保证准确性或完整性。The Gate.io USDT OHLCV K-line dataset is a financial dataset for time series forecasting, focusing on the cryptocurrency market. It provides historical OHLCV (Open, High, Low, Close, Volume) K-line data for USDT-denominated markets on the Gate.io exchange, stored in zstd-compressed Parquet format. The dataset covers approximately 3,300 spot USDT trading pairs, with historical data dating back to 2013 (for the earliest listed pairs), and includes futures market (USDT-margined perpetual contracts) data, though the futures history is shorter (only about 180 days). Timeframes include 5-minute, 15-minute, 1-hour, 4-hour, and 1-day (for all trading pairs), as well as 1-minute (for a subset of about 1,300 pairs). Data is organized into separate Parquet files by market (spot or futures), timeframe, and trading pair, with each file containing the following columns: date (UTC timestamp), open, high, low, close (all floating-point prices), and volume (floating-point volume). This dataset is suitable for research tasks such as cryptocurrency price prediction, quantitative trading backtesting, and market analysis. The data is a static snapshot (as of approximately May 2025) with plans for regular updates, and the initial data source is from DigiTuccars HistoricalDataForTradeBacktest snapshot. Usage notes: the dataset viewer is disabled, requiring direct file loading; timestamps are in UTC; data is provided as-is, with no guarantees of accuracy or completeness.

原始信息汇总

数据集概述：Gate.io USDT OHLCV Klines

• 许可证：MIT
• 任务类别：时间序列预测
• 语言：英语
• 标签：加密货币、金融、OHLCV、K线、Gate.io、交易
• 数据集名称：Gate.io USDT OHLCV Klines
• 数据集大小：10亿至100亿条记录

数据覆盖范围

属性	详情
交易所	Gate.io
市场	现货（主要）、期货（USDT永续合约，历史有限）
时间周期	5分钟、15分钟、1小时、4小时、1天（所有交易对）；约1300个交易对额外提供1分钟
交易对数量	约3300个现货USDT交易对
历史数据	最早可追溯至2013年（针对最早上线交易对）
数据截止时间	静态快照（约2025年5月）；计划定期更新
数据来源	源自 DigiTuccar 的 HistoricalDataForTradeBacktest 快照

文件结构

数据以 zstd 压缩的 Parquet 格式存储，目录结构如下：

{market}/{timeframe}/{PAIR}.parquet

• 示例：
  • spot/1d/BTC_USDT.parquet
  • spot/5m/ETH_USDT.parquet

每个 Parquet 文件包含一个交易对在一个时间周期内的数据，列字段如下：

列名	类型	描述
date	datetime (UTC)	K线开盘时间
open	float	开盘价
high	float	最高价
low	float	最低价
close	float	收盘价
volume	float	基础资产成交量

使用方式

加载单个文件： python from huggingface_hub import hf_hub_download import pandas as pd

path = hf_hub_download("rogerdehe/klines-gateio", "spot/1d/BTC_USDT.parquet", repo_type="dataset") df = pd.read_parquet(path)

下载子集或全部数据： python from huggingface_hub import snapshot_download snapshot_download("rogerdehe/klines-gateio", repo_type="dataset", allow_patterns=["spot/1d/*"]) # 例如仅下载日线现货数据

注意事项

• 期货历史数据有限：Gate.io API 在快照时仅提供约180天的历史，因此 futures/ 目录数据量较少，如需深度历史请使用现货数据。
• 1分钟周期：仅对约1300个交易对可用，其他周期覆盖全部交易对。
• 数据集查看器已禁用：因采用自定义的每交易对文件布局，无法通过 Hugging Face 数据集查看器浏览，需按上述方法直接加载文件。
• 时间戳：均为UTC时间。
• 数据用途：按原样提供，仅用于研究目的，不保证准确性或完整性。

搜集汇总

数据集介绍

构建方式

该数据集基于Gate.io交易所的USDT计价市场，系统性地收集了现货与永续合约的历史OHLCV蜡烛图数据。数据源自DigiTuccar的HistoricalDataForTradeBacktest快照，并经过标准化处理，以zstd压缩的Parquet格式存储。文件按市场类型（现货/合约）、时间框架（5分钟至1日）及交易对进行分层组织，每个Parquet文件仅包含单一交易对和单一时间跨度的数据，确保结构紧凑且便于检索。现货数据覆盖自2013年起的历史记录，合约数据因API限制仅回溯约180天，整体快照截至2025年5月，并计划定期刷新。

特点

该数据集涵盖约3300个现货USDT交易对，提供5分钟、15分钟、1小时、4小时及1日五个标准时间框架，其中约1300个交易对额外包含1分钟粒度数据，总记录量超过10亿行。其独特优势在于深度历史跨度（最早可至2013年）与广泛的交易对覆盖，适合长期趋势分析与统计建模。数据采用统一的列结构（日期、开盘价、最高价、最低价、收盘价、成交量），基于UTC时间戳，并以高效压缩格式存储，显著降低存储与传输开销。然而，合约数据的历史深度有限，且HuggingFace数据集查看器因自定义布局而禁用，需通过直接文件加载访问。

使用方法

用户可通过HuggingFace Hub的`hf_hub_download`函数直接下载单个交易对的Parquet文件，例如加载BTC_USDT的日线数据，并利用Pandas的`read_parquet`方法读取为DataFrame。若需批量获取子集，可使用`snapshot_download`配合`allow_patterns`参数，按市场或时间框架筛选如'spot/1d/'模式的所有文件。数据以静态快照形式提供，适用于量化回测、时间序列预测及金融研究，但需注意合约数据的有限历史与数据完整性免责声明，建议优先使用现货数据进行深度分析。

背景与挑战

背景概述

Gate.io USDT OHLCV Klines数据集由研究人员rogerdehe创建，旨在为加密货币市场提供一套全面、高质量的历史OHLCV（开盘、最高、最低、收盘、成交量）数据。该数据集涵盖Gate.io交易所的现货和期货市场，包含约3300个USDT交易对，时间跨度自2013年起至2025年左右，覆盖5分钟至1日多种时间频率。作为金融时间序列预测领域的重要资源，klines-gateio弥补了公开加密货币历史数据稀缺的空白，为量化交易、市场波动分析及算法回测提供了可靠的数据基础，对推动去中心化金融研究具有显著影响力。

当前挑战

该数据集所解决的领域核心挑战在于加密货币市场的高频波动性和数据异构性问题——传统金融数据集难以捕捉数字资产全天候交易、高杠杆及极端行情带来的非线性模式。在构建过程中，面临两大挑战：一是Gate.io对期货历史数据的API限制，仅能获取约180天的数据，导致futures/子集相对薄弱；二是数据规模庞大（超过10亿条记录），需采用zstd压缩和Parquet格式优化存储与读取效率，同时处理不同时间频率（如1分钟仅覆盖约1300个交易对）的粒度不一致问题，确保数据在回测中的完整性与可用性。

常用场景

经典使用场景

在加密货币和金融时间序列分析领域，klines-gateio数据集作为Gate.io交易所USDT交易对的完整OHLCV（开盘、最高、最低、收盘、成交量）烛台数据集合，为量化金融研究提供了坚实的数据基础。该数据集支持从分钟级到日级的多种时间粒度，涵盖超过3,300个现货交易对，历史数据可追溯至2013年，成为金融时序预测、风险管理及市场微观结构分析等经典研究的核心数据来源。研究人员可以直接通过HuggingFace Hub接口加载Parquet格式数据，快速开展价格走势预测、波动率建模或流动性评估等实证工作。

衍生相关工作

klines-gateio数据集的出现催生了多项衍生研究工作。在其基础上，研究者可以构造跨交易所的套利机会分析模型，通过对比不同平台的历史价差评估市场效率与套利可行性。更进一步的，该数据集常被用于训练基于注意力机制的时序预测模型（如Informer、Autoformer），并为加密货币市场中的异常检测任务提供训练基准。此外，结合区块链交易元数据，部分工作利用该OHLCV数据探究交易行为与链上活动之间的关联，从而揭示市场情绪对价格波动的深层影响，推动行为金融学在数字资产领域的实证发展。

数据集最近研究

最新研究方向

该数据集聚焦于Gate.io交易所USDT计价市场的历史OHLCV蜡烛线数据，覆盖现货与合约市场，时间跨度可追溯至2013年。在加密货币量化交易与时间序列预测前沿领域，该数据集为高频策略回测、市场微观结构分析及长周期价格建模提供了高保真素材。其多时间粒度（从分钟至日线）与逾三千交易对的丰富性，使得研究者可以深入探索币种间联动效应与波动率聚类现象。结合近年去中心化金融（DeFi）的爆发式增长，该数据对于厘清市场效率异常、流动性挤兑事件以及庄家行为模式具有重要参考价值，尤其为深度学习模型在非平稳金融时间序列上的泛化能力验证提供了坚实基准。