ethereum-mempool

该数据集记录了以太坊区块链上待处理交易的等待时间（dwell time）以及最终未被挖出的交易（dropped transactions）。数据由独立观察者收集，旨在提供与Flashbots Mempool Dumpster互补的视角，特别适用于比较不同来源对待处理集的看法差异。数据集包含四个子表：e1_mempool_minutely（每分钟的待处理集活动快照，每行代表一分钟的数据）、e1_mempool_dropped（记录曾出现在待处理集中但最终未被任何区块收录的交易，每行代表一笔丢弃交易）、e1_mempool_lifecycle（每笔交易从其出现到被挖出或丢弃的完整生命周期，每行代表一笔交易，该子表数据截至2026-08-26）、e3_mempool_divergence（比较多个独立节点视角中待处理集的差异，每行代表一次比较）。数据规模约为1M到10M条记录，采用Parquet格式存储，按年/月分区。数据集包含一个固定的7天样本窗口（2026-08-25至2026-09-01），用于检查模式、覆盖范围和质量。完整历史数据可应要求提供。适用任务：时间序列预测、区块链交易分析、内存池行为研究、待处理集差异分析。注意事项：待处理集是节点本地的，不同节点看到的内容可能不同；“dropped”表示交易确认未上链且在所有待处理视图中消失，经过一定延迟确认，并非单次观测推断；时间戳为观测时本地时间，非共识时间戳，受网络距离影响；分钟级表是聚合数据，如需2026-08-26之后每笔交易的数据，请参考Flashbots Mempool Dumpster。许可：ODC-BY（开放数据共享，需署名来源为DataForge (dataforge-labs)）。This dataset records the dwell time of pending transactions on the Ethereum blockchain and the transactions that were eventually not mined (dropped transactions). The data is collected by an independent observer, aiming to provide a complementary perspective to the Flashbots Mempool Dumpster, particularly suitable for comparing differences in the view of the pending set from different sources. The dataset contains four sub-tables: e1_mempool_minutely (minute-level snapshots of pending set activity, each row represents one minute of data), e1_mempool_dropped (transactions that appeared in the pending set but were eventually not included in any block, each row represents a dropped transaction), e1_mempool_lifecycle (the complete lifecycle of each transaction from appearance to being mined or dropped, each row represents a transaction, data up to 2026-08-26), and e3_mempool_divergence (comparison of differences in the pending set from the perspective of multiple independent nodes, each row represents a comparison). The data size is approximately 1M to 10M records, stored in Parquet format, partitioned by year/month. The dataset includes a fixed 7-day sample window (2026-08-25 to 2026-09-01) for checking schema, coverage, and quality. Complete historical data is available upon request. Applicable tasks: time series forecasting, blockchain transaction analysis, mempool behavior research, pending set divergence analysis. Notes: The pending set is local to the node; different nodes may see different content. "Dropped" means that the transaction is confirmed not to be on-chain and has disappeared from all pending views, determined after a certain delay, not inferred from a single observation. Timestamps are local observation time, not consensus timestamps, and are affected by network distance. The minute-level table is aggregated data; for per-transaction data after 2026-08-26, refer to Flashbots Mempool Dumpster. License: ODC-BY (Open Data Commons, attribution required to DataForge (dataforge-labs)).

原始信息汇总

数据集名称：Ethereum mempool (Ethereum pending transactions, dwell times and drops)

数据集简介：该数据集记录了在以太坊上观察到的待处理交易，包括它们等待进入区块链的时长（dwell times），以及那些从未被挖掘（即永远未上链）而被丢弃的交易。

核心内容：

• e1_mempool_minutely：每分钟的待处理交易集合活动汇总。
• e1_mempool_dropped：曾被观察到处于待处理状态但最终未进入区块的交易记录。
• e1_mempool_lifecycle：针对每笔待处理交易的生命周期记录，但该数据表的更新已止于2026-08-26。
• e3_mempool_divergence：针对多个独立节点视角下待处理交易集合差异性的对比分析。

重要使用提示：

• 独立第二观察者视角：该数据集提供了一个独立的第二观察源，特别适合用于与第三方数据源进行交叉验证。其中e3_mempool_divergence可以用来量化不同视角下的待处理交易集合差异程度。
• 数据生命周期：e1_mempool_lifecycle的数据收集已在2026-08-26停止，原因是与Flashbots Mempool Dumpster提供的免费数据重复。而e1_mempool_minutely和e1_mempool_dropped则持续更新，其中被丢弃的交易数据是该数据集的独特价值所在，因为这类交易在上链后没有链上记录可供追溯。

数据注意事项：

• 节点本地性：待处理交易集合是节点本地的，不同节点观察到的集合可能不同，且保留机制属于节点配置，而非以太坊协议规则。
• “丢弃”定义的严谨性：标记为“dropped”的交易须同时满足缺失于链上、缺失于所有持有的待处理视图，并在经过延迟确认期后仍不存在，不基于单次观测推断。
• 时间戳属性：所有时间戳均为数据采集时的观测时间，并非区块链共识时间，受节点网络距离影响。

数据格式与获取示例：

• 数据以Parquet格式存储，按年份和月份分区（dataset/YYYY/MM/）。
• 每个数据集内含有固定的7天样本窗口（2026-08-25至2026-09-01），用于检查数据的模式、覆盖范围和质量，该窗口不会随时间更新，下载一次即可，无需重复下载。
• 全量历史数据暂存于私有环境，可按需申请获取。
• 使用huggingface_hub库可轻松下载子目录数据并读取。示例代码段已提供用于载入e1_mempool_minutely数据表。

覆盖范围说明：e0_run_manifest表完整列出了每次数据采集的时间窗口、轮询次数和失败次数，数据提交为全量而非分段。若数据窗口间存在时间缺口，这些缺口是真实存在的，无法后期填补，并且数据集不包含任何插值数据。

许可证与联系：采用ODC-BY（Open Data Commons Attribution License），允许自由使用，但需注明来源：DataForge (dataforge-labs)。对于数据集的疑问或获取全量历史记录的需求，可通过讨论区联系。

搜集汇总

数据集介绍

构建方式

本数据集由DataForge实验室精心构建，旨在捕捉以太坊网络中待处理交易（mempool）的复杂动态。其核心构建理念在于提供一个独立的观测视角，以补充现有数据源。数据集包含四种核心表格：e1_mempool_minutely记录每分钟的待处理集合活动，e1_mempool_dropped标记那些从未被纳入区块的交易，e1_mempool_lifecycle追踪每笔交易的完整生命周期，而e3_mempool_divergence则比较不同独立节点视图下待处理集合的差异。数据以Parquet格式分区存储于dataset/YYYY/MM/路径下，并内置一个固定的7天样本窗口，便于用户快速评估数据质量。

特点

此数据集的核心特征在于其作为独立观察者的价值，尤其适用于交叉验证其他数据源的结果。所有时间戳均基于实际观测时刻，而非共识时间，确保了数据的即时性。'dropped'状态的判定严格审慎，需确认交易既未上链，也不存在于任何观测视图中，并经过防抖期后才会标记，避免了误判。值得注意的是，e1_mempool_lifecycle已于2026年8月26日停止更新，以优化存储资源，而其他表格则持续更新。此外，数据采集过程受节点本地配置影响，反映了网络真实状态的多样性。

使用方法

用户可通过huggingface_hub库便捷地下载本数据集。示例代码展示了如何通过snapshot_download函数获取特定子集，并结合pandas与glob工具读取Parquet文件，轻松实现数据框加载。建议用户优先考虑使用Flashbots Mempool Dumpster作为更广泛的数据源，而本数据集则适用于对数据独立性有要求的场景，如验证跨源结论或分析mempool视图分歧。完整历史数据可根据请求获取，使用时应遵守ODC-BY许可，并注明数据来源为DataForge (dataforge-labs)。

背景与挑战

背景概述

以太坊作为最具影响力的智能合约平台，其交易内存池（mempool）是区块链网络运行的核心环节，直接影响交易的确认延迟、费用市场动态以及去中心化应用的用户体验。该数据集由DataForge实验室创建，旨在系统性地记录以太坊待处理交易的生命周期，包括交易在内存池中的驻留时间、被丢弃的情况，以及不同网络节点视角下内存池状态的差异性。数据集覆盖了从2026年8月25日至9月1日的初始观测窗口，并提供了分钟级别的聚合数据和逐笔交易明细，为研究区块链网络的交易传播机制、内存池行为建模以及费用预测等关键问题提供了宝贵的基础数据。其独立性设计尤为重要，能够与Flashbots Mempool Dumpster等现有数据源形成互补，促进对以太坊网络状态的多视角验证与深入理解。

当前挑战

该数据集面临的挑战首先源于内存池的本地性本质，各节点持有的待交易集合并不代表全网全貌，且其保留策略属于节点配置而非协议规定，这为从局部观测推断全局状态带来了固有困难。其次，准确判定一笔交易被‘丢弃’需要确认其既未上链，也不存在于任何观测视图，并需经过防抖期，这一过程要求高可靠性的数据采集与验证算法。此外，时间戳基于观察者的系统时间，受网络延迟影响，并非共识时间戳，这为时间敏感的研究引入潜在误差。在数据构建中，跨多个独立观测源的对比（如e3_mempool_divergence）旨在量化视图间分歧，但节点间的数据同步延迟和间歇性故障又增加了数据整合的复杂性，导致采集窗口间隙不可避免，且无法事后填补，对数据完整性和连续性构成持续挑战。

常用场景

经典使用场景

该数据集聚焦于以太坊交易的待处理池（mempool），以分钟级粒度记录了待处理交易集合的动态变化、交易的驻留时间以及从未被区块采纳的交易信息。其经典使用场景涵盖对区块链网络中未确认交易的时序建模，如预测交易进入区块的概率、估计交易等待时长分布，以及分析mempool容量与网络拥堵的关联。研究者可据此构建时间序列预测模型，探究交易生命周期中的潜在规律，为链上活动提供量化分析基础。

衍生相关工作

该数据集衍生的经典工作包括构建以太坊待处理交易预测模型，如基于循环神经网络或Transformer架构的驻留时间回归；对比不同mempool观测源的差异，量化网络分片一致性；研究交易丢弃事件与矿工费波动之间的关系。此外，其独有的dropped交易记录为设计交易重提策略提供实证基础，相关成果可发表于区块链分析或金融科技领域会议。

数据集最近研究

最新研究方向

以太坊内存池（mempool）作为区块链交易生命周期中至关重要的实时缓冲层，其动态行为深刻影响着网络拥堵、交易定价与MEV（矿工可提取价值）博弈。本数据集聚焦于待处理交易的驻留时间与丢弃现象，通过多源独立观测设计，为时间序列预测、网络异常检测及去中心化系统可靠性研究提供了独特的高粒度数据基础。前沿研究正利用此数据集探究交易池对Layer 2扩展方案的影响、区块空间竞争中的策略性行为，以及链上数据无法覆盖的“未上链交易”模式。其与Flashbots Mempool Dumpster的互补定位，使得跨数据源的对比验证成为可能，进而推动对区块链网络状态分岐的量化理解。该数据集对于构建更稳健的以太坊交易传播模型、优化交易费市场机制设计，以及评估MEV缓解策略的有效性均具有关键意义，为去中心化基础设施的可观测性研究树立了新范式。