ethereum-gas-estimator-accuracy

该数据集记录了七个独立以太坊 RPC 提供商对 gas 费用的估算建议，以及区块实际要求的 gas 费用。数据集的目的是评估不同提供商 gas 估算的准确性，揭示提供商之间的差异及其系统性原因。数据集包含三个表格：e29_gas_estimators 记录每个提供商在某个时刻的 gas 建议及其关联的区块高度；e29_eth_block_fees 记录每个区块的基础费用、实际支付的优先费用百分位数及 gas 使用比例；e30_gas_estimator_accuracy 将每个提供商的建议与对应区块的实际要求进行对比，得出充分性（sufficient_priority）和超额支付比例（overpay_priority）等指标。数据规模在 100K 到 1M 行之间，仅涵盖以太坊主网，采用七个无需 API 密钥的提供商，采样间隔为 20 秒，覆盖约 12 秒的区块，因此大部分区块被覆盖但非全部。数据以 Parquet 格式存储，按年月分区。适用任务包括时间序列预测、gas 费用估算准确性分析、区块链经济研究等。注意事项：数据仅代表特定窗口期（2026-08-31 至 2026-09-06），不包含历史建议，且部分建议可能因提供商失败而标记为错误，而非零值。许可为 ODC-BY，使用需注明出处。This dataset records gas fee estimation suggestions from seven independent Ethereum RPC providers, along with the actual gas fees required by blocks. The purpose of the dataset is to evaluate the accuracy of gas estimations from different providers, revealing differences and their systemic causes. The dataset contains three tables: e29_gas_estimators records each providers gas suggestions at a given time along with the associated block height; e29_eth_block_fees records the base fee, actual paid priority fee percentiles, and gas usage ratio for each block; e30_gas_estimator_accuracy compares each providers suggestions with the actual requirements of the corresponding blocks, yielding metrics such as sufficient_priority and overpay_priority. The data size ranges from 100K to 1M rows, covering only the Ethereum mainnet, using seven providers that do not require API keys, with a sampling interval of 20 seconds, covering approximately 12-second blocks, so most blocks are covered but not all. The data is stored in Parquet format, partitioned by year and month. Applicable tasks include time series forecasting, gas fee estimation accuracy analysis, and blockchain economic research. Notes: The data only represents a specific window period (2026-08-31 to 2026-09-06), does not include historical suggestions, and some suggestions may be marked as errors due to provider failures rather than zero values. The license is ODC-BY, and attribution is required when using.

原始信息汇总

数据集概述

名称：Ethereum gas estimator accuracy
提供方：DataForge (dataforge-labs)
许可协议：ODC-BY（允许自由使用，需注明来源）

---

核心内容

该数据集记录了 7 个独立 RPC 提供商对以太坊 gas 费用的实时建议，以及这些建议所对应的区块实际所需费用。数据主要解决了以下问题：

• 不对称性：RPC 提供商的建议是瞬时的，事后无法追溯；而区块实际费用记录在链上，永久可查。该数据集通过实时采集，将两者关联起来。
• 核心价值：可用于评估不同 RPC 提供商 gas 费用估算的准确性与差异，支持时间序列预测与基准测试。

---

数据表结构

表名	内容描述
e29_gas_estimators	每个提供商在某一时刻的 gas 建议，并标注其所在的区块高度。
e29_eth_block_fees	每个区块的基础费、实际支付的优先费百分位数、gas 使用率。
e30_gas_estimator_accuracy	每个提供商的建议与其所针对区块实际费用的对比评分结果。

---

关键发现

• 提供商之间存在系统性分歧：在相同区块内，eth_gasPrice 的中位差异为 7.3%，而 eth_maxPriorityFeePerGas 的差异高达 100%。部分提供商（如 MEV 保护型 RPC）由于看到的订单流不同，其建议存在本质差异，而非采样误差。
• 建议与区块匹配方式：每条建议都携带提供商报告时的头部区块编号，因此建议天然对应下一区块，并在后续区块中进行评分，无需依赖时间戳匹配，避免了常见的对齐误差。

---

数据解读与使用说明

• 关键字段：sufficient_priority 判断建议是否足以让交易在目标时间范围内被打包；overpay_priority 表示建议值与实际清盘费用的比值（1.0 表示精确）。
• 清盘费用定义：采用区块中实际支付优先费的 10 百分位数（cleared_p10_gwei）作为参考，而非最小值。数据同时提供 5 百分位数和中位数，便于使用者自行定义。
• 特殊值处理：当清盘费用为零时，sufficient_priority 为真，overpay_priority 为 null（而非无穷大）。

---

数据范围与限制

• 网络：仅以太坊主网。L2 网络（如 Base、Optimism、Polygon、Arbitrum）虽经过探测，但各提供商之间差异极小（0%–0.3%），不纳入本数据集。
• 提供商选择：仅包含无需 API 密钥即可访问的 7 个 RPC 提供商，偏向服务于零售钱包的端点。
• 采样频率：每 20 秒采样一次，而以太坊出块时间约 12 秒，因此大多数区块被覆盖，但并非全部。
• 数据分区：采用 parquet 格式，按 dataset/YYYY/MM/ 目录存储。当前公开版本为固定 7 天样本窗口（2026-08-31 至 2026-09-06），完整历史数据需另行申请。

---

其他说明

• 错误处理：提供商请求失败时会记录错误，不会被记录为 gas 建议值为零，以确保区分“失败”和“真实的零小费”。
• 数据集清单：e0_run_manifest 表完整列出每个采集窗口的轮询次数与失败次数，该表不受窗口限制，全文公开。
• 加载示例：提供 Python 代码示例，可通过 huggingface_hub 下载并读取 e30_gas_estimator_accuracy 表中的数据。

搜集汇总

数据集介绍

构建方式

该数据集源于以太坊生态中一个根本性的信息不对称问题：节点所提出的Gas费建议转瞬即逝，而区块实际收取的费用则永久记录于链上。为捕捉前者，研究团队对七家无需API密钥即可访问的RPC提供商进行了高频轮询，每20秒记录一次eth_gasPrice与eth_maxPriorityFeePerGas建议值，并同步采集对应区块的基础费、优先费百分位数与Gas使用率等链上数据。通过将每条建议与其对应的头区块（head block）相关联，数据集无需依赖时间戳匹配即可构建评分体系，确保每条建议都能精确对映至其应预测的后续区块。目前公开版本涵盖2026年8月31日至9月6日的固定七天采样窗口，以parquet格式按日期分片存储，便于验证与使用。

使用方法

数据集的加载简便直接，用户可通过HuggingFace Hub的snapshot_download函数获取e30_gas_estimator_accuracy路径下的所有parquet文件，并使用Pandas进行批量读取与分析。每行数据代表某提供商在某时刻的建议及其评分结果，研究者可依据head_block字段验证区块覆盖完整性，或借助cleared_p10_gwei等百分位指标自定义‘清算费率’的定义。该数据集特别适合用于时间序列预测模型的训练，或作为基准测试集评估各类Gas费估算算法的精度。对于需要扩展历史数据的用户，可通过数据集讨论区请求获取完整的私有历史面板。

背景与挑战

背景概述

该数据集由DataForge实验室于2026年创建，聚焦以太坊网络中RPC提供商所提出的Gas价格建议与实际区块需求之间的偏差。研究团队在约一周的窗口期（2026年8月31日至9月6日）内，对七家无需API密钥的RPC服务商进行高频采样，记录其eth_gasPrice与eth_maxPriorityFeePerGas响应，并依据链上数据评估建议的充分性。核心研究问题在于量化跨提供商Gas估算的异质性及其对交易确认的影响，填补了历史矿工费推荐记录缺失的空白。该数据集为矿工费预测模型及钱包应用的基准测试提供了珍贵参考，同时揭示了MEV保护型RPC对订单流差异的感知所导致的系统性分歧。

当前挑战

构建过程中面临的核心挑战源于RPC建议的时效性——历史矿工费推荐无法事后追溯，而数据集仅能通过实时采样捕获瞬时状态。此外，各提供商返回的Gas建议差异并非源于延迟，而是由于节点所见的mempool不同，尤其在MEV场景下，这要求数据匹配必须采用区块头而非时间戳，以避免误差。数据集中遇到的另一挑战是零小费交易的普遍性，其使得建议充足性判断变得复杂，且overpay比率无法定义。当前，以太坊网络在早期采集期间较为平静，跨提供商差异尚小，而网络拥堵时分歧如何演变仍属未知，这要求数据集需长期扩展以捕获多样性，同时保持数据拼接的完整性与准确性。

常用场景

经典使用场景

该数据集在以太坊区块链与去中心化金融（DeFi）领域的核心应用场景在于系统性地评估与基准测试各RPC提供商所给出的Gas费建议的准确性。通过采集七个无需API密钥的独立RPC提供商每20秒的eth_gasPrice和eth_maxPriorityFeePerGas响应，并将其与链上区块实际所需的基础费及优先费百分位数（如p10、p5）进行对照，数据集为研究节点内存池视图差异如何影响费用预测提供了前所未有的微观视角。其精妙之处在于利用建议携带的head block信息进行无时间戳匹配，规避了传播延迟的干扰，使研究者能够严格剖析同一区块高度下提供商之间的内在不一致性，从而为构建更稳健的Gas费预测模型奠定了数据基石。

解决学术问题

此数据集直面区块链领域因缺乏历史建议记录而长期悬而未决的关键问题——即无法验证实时Gas费建议的准确性。它打破了对链上永续数据的依赖，将短暂易逝的RPC建议以时间序列形式固化，解决了学术界在重构历史内存池状态和比较不同节点感知差异上的根本性障碍。数据集明确区分了因节点视野不同（如MEV保护RPC）而产生的系统性分歧与单纯采样噪声，并谨慎地将清偿率定义在第十百分位以排除私有交易或零小费特例，从而为“何为有效费率”提供了可操作、可复现的学术判据，极大地促进了关于市场效率、费用机制设计及用户最优执行策略的严谨量化研究。

实际应用

在现实应用中，该数据集为钱包服务商、区块构建者及交易机器人提供了精准调校Gas费策略的宝贵基准。它使这些实体能够超越单一RPC提供商的局限，根据历史准确度数据动态选择或融合不同来源的建议，以在保障交易及时打包（sufficiency）与最小化超额支付（overpay ratio）之间取得最优平衡。数据集对错误与真实零值小费的区分处理，有效防止了自动化系统误读故障信号，而每行附带的head block信息则赋予用户验证覆盖率和数据新鲜度的能力，从而在瞬息万变的以太坊主网环境中实现更可靠、更经济的交易执行，并为多链低分歧环境（如L2）提供了应用边界的实证指导。

数据集最近研究

最新研究方向

该数据集聚焦于以太坊Gas费用预估器的实证评估，揭示了不同RPC提供商在Gas价格建议上的系统性分歧，尤其在优先费预估上差异显著，且非源于延迟或采样误差。研究前沿方向包括：基于多提供商建议与实际区块费用的对比，开发更鲁棒的Gas费用预测模型；利用MEV保护型RPC的订单流差异，探索区块链网络状态的细粒度感知；通过公开的长期数据面板，研究网络拥堵程度对预估准确性的动态影响，填补历史区块mempool数据缺失的空白。此数据集为时间序列预测和区块链经济学研究提供了独特基准，推动去中心化应用在费用优化和用户体验改进方面的进展，对Layer1生态的Gas机制设计具有重要参考价值。