Gekko-Datasets

Gekko交易机器人的数据集转储，提供SQLite格式的历史文件，用于回测。数据按交易所和货币对分类，每日更新。

The dataset dump of the Gekko trading bot provides historical files in SQLite format for backtesting. The data is categorized by exchange and currency pair, and is updated daily.

原始信息汇总

数据集概述

数据集内容

• 数据类型：SQLite dump文件，用于Gekko交易机器人的历史数据，支持回测。
• 数据组织方式：
  • 完整历史数据：按交易所和货币对分割成单独文件。
  • 近期数据（7, 14, 30, 60天）：所有货币和资产在一个数据库文件中。

数据集更新

• 更新频率：每日，GMT时间23:15后更新。

当前可用数据集

• Binance：BTC, BNB, ETH, USDT（完整历史）
• Bitfinex：BTC, ETH, USD, EUR, GBP, JPY（完整历史）
• Poloniex：BTC, ETH, XMR（完整历史），USDT（自2017-07-01起）
• GDAX：USD, BTC, EUR, GBP（完整历史）
• Kraken：XBT, ETH, USD, EUR, CAD, GBP, JPY（完整历史）

即将可用数据集

• Poloniex：USDT（完整历史）
• BitX (aka Luno)：MYR, NGN, ZAR（完整历史）

数据集下载与安装

• 下载位置：Google Drive，压缩格式为zip。
• 安装步骤：
  1. 访问Google Drive下载所需数据集。
  2. 将下载的文件解压并复制到Gekko的history目录。
  3. 重启Gekko以应用新数据。

数据集更新工具

• 推荐工具：Gekko-BacktestTool，支持通过交易所API自动更新数据。
• 使用命令示例：./backtest.pl -i -p binance:USDT:ALL -f last -t now

数据集维护脚本

• 脚本位置：/root/gekko目录下，包括datasets.sh和datasets_info.pl。
• 脚本功能：自动更新数据集并分享至Google Drive。
• 脚本依赖：Gekko, Gekko-BacktestTool, Gdrive。

搜集汇总

数据集介绍

构建方式

Gekko-Datasets的构建过程主要依赖于Gekko交易机器人的历史数据，这些数据通过SQLite数据库文件的形式进行存储和管理。为了提高数据处理的效率，数据集被系统地分为两个部分：一是按交易所和货币对分类的完整历史数据，二是最近特定天数（如7、14、30、60天）内所有货币和资产的汇总数据。这些数据每日更新，确保用户能够获取最新的市场信息。

特点

Gekko-Datasets的一个显著特点是其数据的全面性和实时性。数据集涵盖了多个主流交易所（如Binance、Bitfinex、Poloniex等）的多种货币对，提供了从历史到最新的完整交易数据。此外，数据集的更新机制保证了数据的时效性，使得用户能够基于最新的市场动态进行策略测试和分析。

使用方法

使用Gekko-Datasets的方法相对简单。用户首先需要从Google Drive下载所需的数据集压缩文件，解压后将数据库文件放置在Gekko交易机器人的*history*目录下。随后，重启Gekko即可加载这些数据。此外，用户还可以利用Gekko-BacktestTool工具进行数据的自动更新，通过简单的命令行操作即可导入最新的交易数据，极大地简化了数据维护的过程。

背景与挑战

背景概述

Gekko-Datasets是一个专为Gekko交易机器人设计的SQLite数据库文件集合，旨在为加密货币交易策略的回测提供历史数据支持。该数据集由xFFFFF团队创建，主要涵盖了多个主流交易所（如Binance、Bitfinex、Poloniex等）的加密货币交易对历史数据，并按交易所和货币对进行了系统化分类。数据集的核心研究问题在于如何高效地存储和更新海量的交易数据，以支持用户在Gekko平台上进行精准的回测分析。自发布以来，Gekko-Datasets已成为加密货币交易研究领域的重要资源，为开发者和研究人员提供了便捷的数据访问途径。

当前挑战

Gekko-Datasets在构建和应用过程中面临多重挑战。首先，数据集的规模庞大，未压缩的全周期数据库文件已达21GB，这对存储和分发提出了较高要求。其次，数据的实时更新和同步是一个复杂的技术问题，需要依赖自动化脚本和外部API接口来确保数据的时效性。此外，由于数据集依赖于Google Drive进行存储，存储空间的限制也成为了一个瓶颈，导致部分数据无法及时上传。最后，数据集的多样性和复杂性要求用户具备一定的技术能力，以正确配置和使用这些数据。这些挑战不仅影响了数据集的扩展性，也对用户的使用体验提出了更高的要求。

常用场景

经典使用场景

Gekko-Datasets数据集主要用于加密货币交易策略的回测分析。通过提供多个交易所的历史交易数据，研究人员和开发者能够在Gekko交易平台上模拟不同的交易策略，评估其在不同市场条件下的表现。这些数据集涵盖了多个主流交易所的完整历史数据，使得用户能够进行长期和短期的策略测试，从而优化交易算法。

实际应用

在实际应用中，Gekko-Datasets被广泛用于加密货币交易机器人的开发和优化。交易者和开发者可以利用这些数据集进行策略回测，验证其在不同市场环境下的有效性。通过模拟真实交易场景，用户能够识别策略的潜在风险和改进空间，从而在实际交易中做出更明智的决策。此外，数据集的每日更新机制确保了策略测试的实时性和准确性。

衍生相关工作

Gekko-Datasets的发布催生了一系列与加密货币交易策略相关的研究和工具开发。例如，基于该数据集的Gekko-BacktestTool工具，使得用户能够自动化数据更新和策略回测过程。此外，许多开源项目和学术研究利用这些数据集进行了深入的策略分析和优化，推动了加密货币交易算法领域的进一步发展。