公共区块链数据集

该仓库列出了多个公共区块链数据集，包括比特币、以太坊等，这些数据集存储在BigQuery中，可供公众查询和使用。

This repository lists multiple public blockchain datasets, including Bitcoin, Ethereum, and others. These datasets are stored in BigQuery and are available for public query and use.

原始信息汇总

数据集概述

已发布数据集

网络	BigQuery 链接	延迟	PubSub 状态	节点仓库	索引器仓库
Band	🔍	0	💧	band-kubernetes	band-etl
Bitcoin	🔍	3	💧	docker-bitcoind	bitcoin-etl, bitcoin-etl-airflow, bitcoin-etl-airflow-neo4j, bitcoin-etl-streaming
Bitcoin Cash	🔍	6	💧	docker-bitcoin-cashd	见 Bitcoin
Celo	🔍	10	💧	?	celo-etl
Dash	🔍	24	💧	docker-dashd	见 Bitcoin
Dogecoin	🔍	60	💧	docker-dogecoind	见 Bitcoin
Ethereum	🔍	18	💧	?	ethereum-etl, ethereum-etl-airflow, ethereum-etl-neo4j, ethereum-etl-postgres
Ethereum 2	🔍	?	❌	?	ethereum2-etl, ethereum2-etl-airflow
Ethereum Classic	🔍	?	❌	见 Ethereum	见 Ethereum
Fantom	🔍	?	💧	?	?
Hedera Hashgraph	🔍	?	?	?	hedera-etl
IoTeX	🔍	10	💧	iotex-kubernetes	iotex-etl
Litecoin	🔍	12	💧	docker-litecoind	见 Bitcoin
Polygon	🔍	80	💧	?	polygon-etl
Solana	🔍	2-5 min	?	etl-rust	solana-etl
Tezos	🔍	?	?	tezos-kubernetes	tezos-etl, tezos-etl-airflow
Theta	🔍	?	?	?	theta-etl
XRP	🔍	?	?	?	fetch-xrpl-transactions
Zcash	🔍	24	💧	docker-zcashd	见 Bitcoin
Zilliqa	🔍	?	?	?	zilliqa-etl

规划/建设中的数据集

网络	BigQuery 状态	延迟	PubSub 状态	节点仓库	索引器仓库	备注
Algorand	⏳	?	⏳	?	?	需要帮助
Aptos	⏳	?	⏳	?	?	进行中
Arbitrum	⏳	?	⏳	?	?	需要帮助
Avalanche	⏳	?	⏳	?	?	需要帮助
BNB Chain	⏳	?	⏳	?	?	需要帮助
Cronos	⏳	?	⏳	?	?	需要帮助
Eos	❌	?	❌	?	eos-etl, eos-etl-airflow	需要帮助
Icon	❌	?	❌	?	icon-etl, icon-etl-airflow	需要帮助
Klaytn	👷	?	👷	?	klaytn-etl	进行中
MultiversX	⏳	?	⏳	?	?	进行中
Optimism	⏳	?	⏳	?	?	需要帮助
Sui	⏳	?	⏳	?	?	进行中

搜集汇总

数据集介绍

构建方式

公共区块链数据集的构建方式主要依赖于对多个区块链网络的实时数据采集与整合。通过使用BigQuery进行数据存储和查询，该数据集能够提供对多种区块链网络（如比特币、以太坊、莱特币等）的交易数据的全面覆盖。此外，数据集还利用PubSub进行实时数据流的发布，确保数据的及时性和准确性。节点和索引器的仓库（如band-etl、bitcoin-etl等）为数据集的构建提供了技术支持，确保数据的完整性和可靠性。

特点

公共区块链数据集的特点在于其广泛的覆盖范围和实时性。该数据集不仅涵盖了主流的区块链网络，如比特币和以太坊，还包括了一些新兴的区块链项目，如Celo和IoTeX。此外，数据集通过BigQuery提供了高效的数据查询功能，使得研究人员和开发者能够快速获取所需信息。实时数据流的发布机制确保了数据的最新状态，为动态分析提供了可能。

使用方法

使用公共区块链数据集时，用户可以通过BigQuery进行数据查询，利用提供的示例代码快速上手。对于需要实时数据的应用场景，用户可以订阅PubSub服务，获取最新的区块链交易数据。此外，数据集的GitHub仓库中提供了多个ETL（Extract, Transform, Load）工具，如ethereum-etl和bitcoin-etl，帮助用户进行数据的提取、转换和加载，进一步支持数据分析和应用开发。

背景与挑战

背景概述

公共区块链数据集是一个汇集了多种区块链网络交易数据的综合性数据集，旨在为研究人员和开发者提供一个统一的接口来分析和研究不同区块链的性能和行为。该数据集由多个主要研究人员和机构共同创建，涵盖了如比特币、以太坊、莱特币等多种主流区块链网络。其核心研究问题包括区块链的延迟、交易处理速度、以及网络的扩展性等。该数据集的创建对区块链领域的研究具有重要意义，为深入理解区块链技术提供了丰富的数据支持。

当前挑战

公共区块链数据集在构建过程中面临诸多挑战。首先，不同区块链网络的数据结构和协议差异巨大，导致数据整合和标准化过程复杂。其次，区块链数据的实时性和准确性要求极高，确保数据延迟和同步问题是一大难题。此外，数据隐私和安全问题也是不可忽视的挑战，如何在保证数据可用性的同时保护用户隐私，是该数据集需要解决的重要问题。最后，随着区块链技术的不断发展，数据集需要持续更新和扩展，以适应新兴区块链网络的需求。

常用场景

经典使用场景

公共区块链数据集在区块链技术研究中扮演着至关重要的角色。其经典使用场景包括对不同区块链网络的交易数据进行深入分析，以揭示网络的性能、安全性和经济活动。例如，研究人员可以通过分析比特币和以太坊的交易数据，评估网络的吞吐量、交易确认时间和手续费结构，从而为区块链优化和改进提供数据支持。

衍生相关工作

公共区块链数据集的发布催生了众多相关研究和工作。例如，基于以太坊数据集的研究推动了去中心化金融（DeFi）应用的发展，为智能合约的安全性和效率提供了数据支持。比特币数据集的研究则促进了区块链隐私保护技术的进步，如零知识证明和环签名技术的应用。此外，跨链数据分析工具的开发，也为区块链互操作性研究提供了新的视角和方法。

数据集最近研究

最新研究方向

在区块链技术日益成熟的背景下，公共区块链数据集的研究正聚焦于多链数据整合与分析。研究者们致力于通过BigQuery等工具，实现不同区块链网络数据的统一存储与查询，以支持更复杂的跨链分析和应用开发。此外，随着去中心化金融（DeFi）和非同质化代币（NFT）的兴起，数据集在交易行为、智能合约执行和市场动态分析中的应用也日益广泛，为区块链生态系统的透明度和效率提升提供了重要支持。