crypto_polkadot, crypto_kusama

Substrate ETL在Google BigQuery中代表Polkadot和Kusama数据集，所有最终数据每天在BigQuery公共数据集中发布，每小时在Dune发布。

Substrate ETL hosts Polkadot and Kusama datasets on Google BigQuery. All finalized data is published daily in the BigQuery Public Datasets program, and released hourly on Dune.

原始信息汇总

Substrate ETL 数据集概述

数据集简介

Substrate ETL 数据集提供了对 Polkadot 和 Kusama 网络的大规模分析数据，包括区块、外部交易、调用、事件、余额和转账等信息。这些数据集托管在 Google BigQuery 上，分为 crypto_polkadot 和 crypto_kusama 两个公共数据集。

数据集位置

数据集位于 Google BigQuery 的公共项目 bigquery-public-data 中，具体数据集为：

• crypto_polkadot
• crypto_kusama

数据表结构

每个链的数据分为9个表，具体包括：

• Blocks: bigquery-public-data.crypto_${relayChain}.blocks${paraID}
• Extrinsics: bigquery-public-data.crypto_${relayChain}.extrinsics${paraID}
• Calls: bigquery-public-data.crypto_${relayChain}.calls${paraID}
• Events: bigquery-public-data.crypto_${relayChain}.events${paraID}
• Transfers: bigquery-public-data.crypto_${relayChain}.transfers${paraID}
• Balances: bigquery-public-data.crypto_${relayChain}.balances${paraID}

数据表字段

以下是部分关键表的字段及其数据类型：

blocks.json

• hash: STRING
• parent_hash: STRING
• number: INTEGER
• block_time: TIMESTAMP
• author_ss58: STRING
• spec_version: INTEGER

extrinsics.json

• hash: STRING
• extrinsic_id: STRING
• block_time: TIMESTAMP
• block_number: INTEGER
• section: STRING
• method: STRING
• params: JSON

events.json

• event_id: STRING
• section: STRING
• method: STRING
• data: JSON
• block_time: TIMESTAMP
• block_number: INTEGER

transfers.json

• event_id: STRING
• section: STRING
• method: STRING
• data: JSON
• block_time: TIMESTAMP
• block_number: INTEGER
• from_ss58: STRING
• to_ss58: STRING
• amount: FLOAT64

balances.json

• symbol: STRING
• address_ss58: STRING
• ts: TIMESTAMP
• free: FLOAT
• reserved: FLOAT
• misc_frozen: FLOAT

数据集使用

用户可以通过 Google Cloud 的 Analytics Hub 或 BigQuery 公共数据集直接访问这些数据。具体链接如下：

• crypto_polkadot on Analytics Hub
• crypto_kusama on Analytics Hub

数据集更新

数据集每日更新，确保数据的最新性和完整性。

贡献与反馈

欢迎社区成员贡献代码和提供反馈，具体方式包括提交 GitHub 问题或通过 Telegram 和 Matrix 联系项目团队。

搜集汇总

数据集介绍

构建方式

该数据集通过Substrate ETL工具构建，利用Colorful Notion的Polkaholic.io索引服务，将Polkadot和Kusama网络的数据索引至Google BigQuery公共数据集中。数据集包含区块、外部交易、调用、事件、余额和转账等大规模分析数据。每个数据集按日期分区，并根据paraID进行细分，确保数据的高效存储和快速检索。

特点

该数据集的特点在于其高度的结构化和分区设计，支持低成本、高速度的扫描操作。数据集中的所有表均按日期分区，便于进行时间序列分析。此外，地址信息以公钥和SS58地址形式提供，便于跨链查询。数据集还包含资产的美元估值，增强了其金融分析能力。

使用方法

用户可以通过Google Cloud的Analytics Hub或BigQuery公共数据集项目访问该数据集。通过简单的SQL查询，用户可以检索特定日期范围内的区块、外部交易、调用等信息。数据集的详细架构和示例查询可在GitHub页面找到，帮助用户快速上手并进行深入分析。

背景与挑战

背景概述

在区块链技术的快速发展中，Polkadot和Kusama网络作为Substrate框架下的重要组成部分，吸引了大量研究者和开发者的关注。Substrate ETL项目由Colorful Notion团队主导，旨在通过Polkaholic.io索引服务，将Polkadot和Kusama网络的数据大规模分析化，并将其整合至Google BigQuery公共数据集中。自2023年9月起，这些数据集已正式纳入Google BigQuery公共数据集，为区块链分析提供了强大的数据支持。此外，随着OpenGov #366的推进，Colorful Notion计划在2024年1月将Polkadot数据与Dune平台集成，进一步扩展其应用范围。

当前挑战

尽管Substrate ETL项目在数据整合和分析方面取得了显著进展，但仍面临若干挑战。首先，数据源的单一性依赖于Polkaholic.io索引服务，这可能导致数据完整性问题，尤其是在某些链未提供公共RPC节点或RPC节点非归档节点的情况下。其次，数据解码过程中可能遇到链暂停或缺少最新节点API包的问题，影响数据准确性。此外，随着数据集的扩展和集成，如何确保低成本、高效率的数据扫描和处理，以及如何在多链环境中实现统一查询和分析，也是当前亟待解决的问题。

常用场景

经典使用场景

在区块链分析领域，crypto_polkadot和crypto_kusama数据集的经典使用场景主要集中在对Polkadot和Kusama网络的大规模数据分析。用户可以通过这些数据集深入研究区块、外部交易、调用、事件、余额和转账等关键数据。这些数据集的结构化设计使得研究人员能够高效地进行时间序列分析和跨链比较，从而揭示网络的动态行为和潜在模式。

解决学术问题

这些数据集解决了区块链研究中的多个关键问题，包括但不限于网络性能评估、交易行为分析、智能合约执行监控以及跨链交互的复杂性研究。通过提供详尽的历史数据和实时更新，它们为学术界提供了丰富的实验材料，有助于推动区块链技术的理论和应用研究。

衍生相关工作

基于这些数据集，已经衍生出多项经典工作，包括对Polkadot和Kusama网络的性能基准测试、智能合约的安全性分析以及跨链资产转移的研究。此外，这些数据集还促进了与Dune Analytics等平台的集成，进一步扩展了其在区块链生态系统中的应用范围和影响力。