equity-perp-price-discovery

该数据集名为“Equity and pre-IPO perpetual price discovery”，由 DataForge 提供，采用 ODC-BY 许可证。数据集旨在揭示当美股市场（约占一周的60%时间）关闭时，苹果、英伟达、OpenAI 或 Anthropic 等资产的价格发现情况。它记录了永续合约在真实世界资产上的全天候交易价格，包括标记价格（mark）、指数价格（index）以及两者之间的基差（basis）。数据集包含多种市场类型：股票（equity）、ETF、商品（commodity）、外汇（fx）、pre-IPO 和加密货币（crypto），其中 crypto 作为控制组，因为其永续合约全天交易，可用于对比基差的正常行为。数据表 `e23_perp_mark_index` 的每一行对应一个工具在某一时刻的记录，包含字段如：标记价格、指数价格、基差（以基点表示，basis_bps）。基差计算公式为 (mark - index) / index，以基点表示，有符号，若缺少任一项则为空。数据以 Parquet 格式存储，按日期分区（dataset/YYYY/MM/），每个文件对应一个收集窗口。数据集包含一个固定的 7 天样本窗口（2026-08-29 至 2026-09-04），用于检查模式、覆盖范围和质量。完整历史数据可私下请求获取。数据规模约为 1M 到 10M 行。适用任务包括时间序列预测、金融市场价格发现分析、基差分析等。注意：标记价格是交易所用于保证金计算的价格，不一定是交易价格；指数价格在美股休市期间的推导方式由交易所决定；pre-IPO 名称没有公开的参考市场，其基差是基于交易所自身构建的，应视为内部一致性而非市场溢价；数据仅来自一个交易所，非共识价格；工具会随时间上架和下架，因此分析时应按天计算不同的 instrument_name。This dataset is named "Equity and pre-IPO perpetual price discovery", provided by DataForge, under the ODC-BY license. It aims to reveal price discovery of assets such as Apple, Nvidia, OpenAI, or Anthropic when the US stock market is closed (about 60% of the week). It records 24/7 trading prices of perpetual contracts on real-world assets, including mark price, index price, and the basis between them (expressed in basis points). The dataset covers multiple market types: equity, ETF, commodity, forex, pre-IPO, and cryptocurrency (as a control group). The table `e23_perp_mark_index` contains rows for each instrument at a given time, with fields: mark price, index price, basis (basis_bps). Data is stored in Parquet format, partitioned by date (dataset/YYYY/MM/), and includes a fixed 7-day sample window (2026-08-29 to 2026-09-04). The data size is approximately 1M to 10M rows. Applicable tasks include time series forecasting, financial market price discovery analysis, and basis analysis.

原始信息汇总

数据集概述

Equity and pre-IPO perpetual price discovery 是一个围绕股票及IPO前公司永续合约价格发现的时间序列数据集，记录美国现金市场休市期间（约占每周60%时间）相关资产永续合约的实际标记价格（mark）、指数价格（index）及其基差。

核心内容

数据表	说明
e23_perp_mark_index	每个工具在某一时刻的标记价格、指数价格及二者基差
e0_run_manifest	完整发布的采集窗口清单，包含轮询次数与失败次数

关键字段

• market_type：区分资产类别（equity、etf、commodity、fx、pre_ipo、crypto）
• is_rwa：标记是否为现实世界资产（real-world asset）
• basis_bps：基差（(mark - index) / index），以基点为单位，有符号；任一项缺失时为null而非0

重要说明

• 加密资产行作为对照组：加密货币永续合约无休市时间，可与其基差对比而非与零对比，以理解正常基差水平
• 标记价格为交易平台自身用于保证金计算的价格，不一定是实际成交价
• pre_ipo 名称无任何公开参考市场，其基差基于平台自建指数，应视为内部一致性参考
• 数据仅来源于单一交易平台，不代表市场共识
• 工具会随时间上市和退市，应按日统计不同工具数量，而非假设固定工具集合

数据范围与格式

• 数据格式为Parquet，按采集窗口存储于 dataset/YYYY/MM/ 目录
• 本数据集包含 固定7天采样窗口（2026-08-29 至 2026-09-04），用于检查数据模式、覆盖范围和质量
• 完整历史数据私有保存，可通过讨论区申请获取
• 窗口之间的数据缺口是真实的，无法事后填补，数据无插值处理

许可

采用 ODC-BY 许可，可自由使用，需注明来源 "DataForge (dataforge-labs)"。

搜集汇总

数据集介绍

构建方式

该数据集通过持续采集永续合约交易场所发布的标记价格与指数价格，构建了以逐笔时间序列为核心的永续价格发现记录。数据以单工具单时刻为一行，同步记录mark、index及两者之间的基差，并以基点为单位进行标准化表示，缺失值以空值而非零值保留。采集覆盖股票、ETF、商品、外汇、Pre-IPO及加密货币等资产类别，其中加密货币作为对照组纳入，用以揭示当底层资产连续交易时基差的常态表现。所有记录按采集窗口以Parquet格式分区存储，完整历史仅通过请求开放。

特点

该数据集独特之处在于捕捉了美股现金市场闭市期间（约占每周60%时间）永续合约的标记价格变动，填补了传统金融数据在非交易时段的价格发现空白。数据以`is_rwa`标志区分现实世界资产子集，并通过基点化基差实现不同价位工具的横向可比。每个采集窗口均配有运行清单，如实记录轮询次数与失败次数，数据缺口不予插补，保证原始真实性。样本覆盖2026年8月29日至9月4日的固定七日窗口，便于用户核验模式、覆盖度与数据质量。

使用方法

用户可通过`huggingface_hub`的`snapshot_download`函数指定`e23_perp_mark_index`路径下载Parquet文件，并利用`pandas`与`glob`递归读取合并为统一数据框。分析时建议以`market_type`拆分资产群体，以加密资产行作为非停市基准进行对照，重点关注现金市场关闭时段的基差波动。需注意标记价格为交易场所用于保证金计算的内部价格，并非必然的成交价，Pre-IPO名称的基差反映的是场所内部构造的一致性而非公开市场溢价。

背景与挑战

背景概述

权益资产与Pre-IPO标的的永续合约价格发现问题，源于传统现金股票市场存在交易时段限制，约有六成时间处于闭市状态，而基于真实世界资产的永续期货可全天候交易，这一时间错配催生了对持续价格发现机制的研究需求。DataForge机构构建的equity-perp-price-discovery数据集，以2026年8月29日至9月4日的固定七日采样窗口为起点，记录了苹果、英伟达等权益标的及OpenAI、Anthropic等Pre-IPO名称的永续合约标记价格、指数价格及基点价差，并纳入加密货币永续合约作为无闭市对照。该数据集为探究闭市期间价格发现效率、基差动态及Pre-IPO资产估值提供了实证基础，对金融时间序列分析与市场微观结构研究具有参考价值。

当前挑战

该数据集所面临的挑战具有双重维度。在领域问题层面，权益永续合约在现金市场闭市期间的标记价格由交易场所自行设定用于保证金计算，未必反映真实成交价格，指数在周六仍见微幅波动，其推导机制属于场所内部事务且未被建模，导致基差信号的可解释性受限。Pre-IPO标的无任何时段的公开参考市场，其基差仅衡量场所内部一致性而非对市场价格的溢价。构建过程中，标记历史与指数历史需在采集时逐笔记录方能留存，窗口间隙真实存在且无法事后填补，数据不做插值处理。标的随时间上市与退市，需按日统计独立合约名称而非假定固定样本空间，且数据仅源自单一交易场所，反映的是单一场地的报价而非市场共识。

常用场景

经典使用场景

在金融市场微观结构与价格发现研究领域，永续合约作为一类追踪标的资产价格的衍生工具，其定价机制与基差动态长期受到学界关注。该数据集最经典的应用场景在于刻画股票及Pre-IPO标的永续合约在现货市场休市期间的标记价格与指数之间的基差变动轨迹。研究者可借助标记价格、指数及基差（以基点计量）三列核心字段，系统考察美股每周约六成闭市时间内永续合约的价格发现功能，并以加密货币永续合约作为无休市对照组，识别传统资产在非交易时段的定价效率与信息传导特征。

衍生相关工作

围绕该数据集衍生的经典工作主要集中于非交易时段价格发现效率的实证检验，以及永续合约基差与现货波动率之间的动态关联分析。部分研究以此为基础比较股票、ETF、商品、外汇与Pre-IPO等不同资产类别在标记价格机制下的基差行为差异，另有工作将加密货币永续合约作为对照组，探讨底层资产连续交易与否对基差水平与波动的影响。这些研究共同拓展了全天候衍生品定价与风险管理的文献边界。

数据集最近研究

最新研究方向

在传统金融市场休市的时段，股票及Pre-IPO永续合约的价格发现机制正成为前沿探索的焦点。该数据集通过捕捉标记价格与指数之间的基差，为研究全天候交易环境下的价格动态提供了独特视角。特别是在现金市场关闭的窗口期，股权类资产的永续合约标记价格仍持续变动，而指数却相对静止，这一现象揭示了流动性分割与信息传导的时变特征。Pre-IPO名称因缺乏公开参考市场，其基差反映的是交易场所内部一致性而非市场溢价，这为研究非公开资产的定价逻辑开辟了新路径。该数据集在时间序列预测任务中具有重要价值，其高频、细粒度的标记与指数数据支持对基差波动、市场微观结构及跨资产类别控制的深入分析，对理解加密与传统金融融合趋势下的价格发现效率具有深远影响。