crypto-execution-costs

Crypto execution costs 数据集记录了实际链上移动资金的成本，按报价时点存储。数据涵盖三个维度：DEX聚合器（LI.FI、KyberSwap、CoW）的交换报价、零售法币入金（如Mercuryo、Ramp等）报价、以及L2（Optimism、Base等）从序列器承诺到L1确认的时间。数据集包含六个子表：e10_quote_benchmark（每条记录为一次固定规模的交换报价，包含费用拆分）、e17_perp_depth（永续合约DEX的订单簿快照，包括价差、层级数量及距中间价一定基点内的未平仓名义值）、e16_dex_routes（路由选择的单条腿：场所、池子、金额及交易拆分场所数）、e12_onramp_quotes（零售法币入金报价，买入或卖出）、e14_l2_preconf（L2心跳或序列器承诺被链替换的记录）、e0_run_manifest（每个采集窗口的轮询计数、失败计数及覆盖计数器）。数据规模在10K到100K行之间，以Parquet文件格式存储，按采集窗口分区（dataset/YYYY/MM/），当前版本仅包含2026年8月25日至31日共7天的固定样本，用于检查模式、覆盖和质量。完整历史数据私有，可请求获取。该数据集适用于时间序列预测、去中心化金融（DeFi）执行成本分析、流动性深度研究、法币入金市场比较等任务。使用注意事项包括：路由数据基于假设交易，不反映真实成交；深度数据为快照而非逐笔，可能遗漏快速反转；报价反映聚合器行为而非可执行价格；法币入金数据仅覆盖1.5个提供商，非全面市场调查；L2心跳数据中安全标签可能存在延迟。The Crypto execution costs dataset records the actual costs of moving funds on-chain, stored at the time of quoting. The data covers three dimensions: swap quotes from DEX aggregators (LI.FI, KyberSwap, CoW), retail fiat on-ramp quotes (e.g., Mercuryo, Ramp, etc.), and L2 (Optimism, Base, etc.) time from sequencer commitment to L1 confirmation. The dataset contains six sub-tables: e10_quote_benchmark (each record is a swap quote of fixed size with fee breakdown), e17_perp_depth (order book snapshots of perpetual DEXs including spread, number of levels, and open notional value within certain basis points from mid-price), e16_dex_routes (single leg of route selection: venue, pool, amount, and number of split venues), e12_onramp_quotes (retail fiat on-ramp quotes, buy or sell), e14_l2_preconf (records of L2 heartbeat or sequencer commitment replaced by chain), e0_run_manifest (poll count, failure count, and coverage counter per collection window). Data size ranges from 10K to 100K rows, stored in Parquet format, partitioned by collection window (dataset/YYYY/MM/). The current version only contains a fixed 7-day sample from August 25 to 31, 2026, for inspecting schema, coverage, and quality. Full historical data is private and available upon request. This dataset is suitable for tasks such as time series forecasting, decentralized finance (DeFi) execution cost analysis, liquidity depth research, and fiat on-ramp market comparison. Usage notes: route data is based on hypothetical trades and does not reflect actual fills; depth data is snapshots not tick-by-tick, may miss fast reversals; quotes reflect aggregator behavior not executable prices; fiat on-ramp data covers only 1.5 providers, not a comprehensive market survey; L2 heartbeat data may have delayed safety labels.

原始信息汇总

Crypto execution costs 数据集概述

数据集简介

该数据集记录了链上资金转移的实际成本，以实时报价的形式呈现，涵盖三个维度：DEX聚合器的交换报价、法币入金（on-ramp）报价，以及L2从排序器承诺到L1确认所需的时间。报价按请求实时计算，无人存储历史记录。

数据内容与结构

数据集包含以下表：

表名	每行含义
e10_quote_benchmark	LI.FI、KyberSwap或CoW的单一交换报价，固定规模，费用单独拆分
e17_perp_depth	永续DEX的订单簿快照：价差、档位数量，以及距中间价5/10/25/50/100基点的挂单名义价值
e16_dex_routes	路由器选择的路径中的一条腿：交易场所、池、金额，以及交易拆分的场所数量
e12_onramp_quotes	零售法币入金报价（买入或卖出）
e14_l2_preconf	L2心跳数据（不安全头与安全头）或链替换的排序器承诺
e0_run_manifest	一次收集窗口：轮询计数、失败计数、覆盖率计数

数据以Parquet格式存储，按收集窗口分区，路径为 dataset/YYYY/MM/。仓库包含固定的7天样本（2026-08-25至2026-08-31），用于检查schema、覆盖率和质量。完整历史数据以私有方式存储，可按需获取。

重要注意事项

• e16_dex_routes：记录的是为未实际执行的交易而选择的路由。仅KyberSwap提供路径分解信息，其他场所仅提供名称。交易规模增大时，路由拆分明显扩大。
• e17_perp_depth：覆盖Aevo和Paradex，这两家未被Tardis（记录64家交易所）收录，且两家场所不提供自身历史数据。行为轮询间隔时刻的快照，而非逐笔级别数据；在价差大于带宽时深度值正确为零。
• 报价为聚合商提供的数据，并不代表实际可成交价格，应视为提供商行为而非套利机会。
• LI.FI 费用：LI.FI按所有规模收取约25个基点的固定费用，fee_usd 字段将费用单独拆分，应结合价格与费用一同解读。
• 法币入金面板较薄弱：仅Mercuryo和Ramp提供完整或参考报价，MoonPay、Transak、Guardarian和Mt Pelerin需要密钥，整体覆盖约1.5个提供商。
• e14 数据：仅 violation 行是难以从其他来源获取的数据。心跳延迟可从L2区块时间戳和L1批次时间重建，应将其视为覆盖证明而非稀缺数据。
• Optimism 公共端点的 safe 标签存在滞后问题（落后数千万区块，而Base仅落后十几个），行中带有 safe_tag_plausible 字段以标识此情况。
• 覆盖间隙是真实的：窗口之间的间隙无法事后填补，数据无插值。

数据集规模与许可

• 规模：10K~100K行。
• 任务类型：时序预测（time-series forecasting）。
• 许可：ODC-BY，可自由使用，需注明来源为"DataForge (dataforge-labs)"。
• 获取完整历史：可通过讨论区（discussions tab）提出请求。

搜集汇总

数据集介绍

构建方式

该数据集由DataForge实验室精心构建，专注于捕捉加密货币执行成本的实时快照。其数据来源涵盖链上已成交交易与按需计算的未成交报价，通过独特的数据采集机制，在报价生成即刻进行记录，从而保留了市场瞬时状态。数据集划分为多个子集，包括固定规模的交换报价基准、路由选择的详细分解、永续合约的订单簿深度、法币入金报价及L2排序器承诺的验证，每个子集均以高精度时间序列形式存储，采用Parquet格式分区管理，确保数据的完整性与可追溯性。

特点

数据集的显著特点在于其细致入微的视角与严谨的结构。它清晰区分了报价与真实成交的差异，并将协议费用从价格中剥离，使研究者能够独立评估路由质量。e16子集揭示了流动性分布的真实图景，映射出小型场所的影响力，而e17则通过累计名义金额而非原始深度，捕捉订单簿的核心特征。此外，数据集的错误处理逻辑尤为出色，明确记录每一次拒绝或限流，避免缺失信息被误读，为分析提供了无偏见的坚实基础。

使用方法

使用者可通过HuggingFace平台便捷地获取该数据集，提供固定的7天采样窗口（2026年8月25日至31日），便于快速检验模式与覆盖范围。Python代码示例展示了如何利用`huggingface_hub`库下载指定子集并加载为Pandas DataFrame，支持灵活的定制化探索。完整的运行清单e0_run_manifest以完整形式发布，帮助研究者了解每个采集窗口的轮询与失败情况，从而确保在时间序列分析中合理处理缺口。对于深度分析，建议用户谨慎处理`lag_blocks`等字段，并依据标志位过滤无效数据，以保持结论的可靠性。

背景与挑战

背景概述

该数据集由DataForge实验室于2026年创建，聚焦于加密货币交易执行成本的量化分析，涵盖去中心化交易所（DEX）报价、法币入金通道及Layer2确认延迟等维度。其核心研究问题在于捕获交易执行瞬间的市场状态，而非事后链上成交记录，从而揭示流动性分布、路由策略及费用结构的真实面貌。通过记录未被执行的报价、路由分割细节及订单簿深度，数据集为市场微观结构研究提供了独特的视角，对理解DeFi生态中的价格滑点、流动性碎片化及执行质量具有重要参考价值，推动了区块链数据科学领域的实证研究。

当前挑战

该数据集面临的挑战多维且深刻。领域层面，加密货币市场的高波动性与碎片化流动性使得执行成本的精确测量极为困难，传统以成交价为准的方法无法反映未成交报价中的信息。构建过程中，数据采集需应对提供商拒绝服务、限速及API不一致等问题，且需区分'无报价'与'报价失败'的语义差异。此外，跨链数据的时间同步、订单簿快照的帧间盲区、以及路由可分裂性导致的复杂性，均对数据完整性与准确性构成考验。数据集通过显式错误行、覆盖标记及原始数据保留等策略，努力平衡真实性与可用性，但用户仍需谨慎处理缺失值及安全标签的时效性。

常用场景

经典使用场景

在去中心化金融（DeFi）领域，交易执行成本的精确量化长期受限于链上数据的不可观察性与报价数据的短暂性。该数据集通过记录实时报价、路由拆分、永续合约深度、法币入金报价及L2预确认承诺，填补了市场微观结构研究的关键空白。研究者可据此进行时间序列预测，分析不同规模下交易滑点、路由选择策略及流动性分布演变，亦可评估各DEX聚合器的报价质量与执行效率，从而为算法交易策略的优化提供严格的实证基础。

解决学术问题

该数据集解决了DeFi市场研究中因缺乏代表性报价数据而导致的系统性偏差问题，并提供了错误行与覆盖率信息，使缺失可辨识，显著提升了实证研究的可靠性。它首次大规模分离提供商费用与价格，厘清了路由质量的衡量误区；同时，通过记录小型流动性池的路径拆分，揭示了市场深度在高交易规模下的非线性和碎片化特征。这些数据支撑了对DEX路由效率、跨链延迟及L2预确认机制可靠性的因果推断，为市场有效性理论提供了链上证据。

衍生相关工作

该数据集催生了多类衍生工作：一是基于价格影响和路由拆分的执行成本预测模型，推动了滑点建模的精细化；二是结合多播报价与深度数据的流动性度量研究，促成了DEX与传统交易所跨市场流动性比较；三是利用L2预确认和错误行特征，探索了抗审查交易与网络延迟的关联。相关研究还衍生出针对报价偏差的鲁棒交易算法，以及利用覆盖率元数据进行的缺失数据插补方法，进一步拓展了链上金融数据科学的边界。