cftc-cot-weekly

CFTC交易者持仓周度面板数据集是一个整合了美国商品期货交易委员会（CFTC）自1986年至今所有交易者持仓报告系列的标准化数据集。它以整洁、模型就绪的周度面板格式提供，包含统一化的持仓数据、净持仓和COT指数特征、市场参考映射以及有文档记录的发布来源信息。数据集采用Parquet和CSV格式，数据量在100万到1000万之间，包含四个独立配置表：cot_panel_long（整洁长面板，每行对应报告日期、合约代码、报告系列、基础和交易者类别）、cot_features_weekly（模型就绪宽表，包含未平仓合约及其变化、集中度比率、各类别净持仓、净持仓占比、与前次报告变化、52和156报告期COT指数以及156报告期Z分数）、markets_reference（每个合约代码和系列的参考信息）和release_anomaly_calendar（有文档记录的发布和方法论事件）。该数据集旨在解决CFTC原始数据的复杂性，统一四十年的模式漂移，并使发布历史明确化，仅包含持仓数据，不包含价格信息，适用于金融、经济学研究，如期货市场持仓分析、时间序列建模和市场情绪指标构建。数据来源于CFTC交易者持仓报告（公共领域），由Arimancy LLC在CC BY 4.0许可下发布。The Weekly Panel Dataset of CFTC Trader Positions is a standardized dataset integrating all trader position report series from the Commodity Futures Trading Commission (CFTC) since 1986 to the present. Provided in a tidy, model-ready weekly panel format, this dataset includes uniform position data, net position and COT index features, market reference mappings, and documented release source information. It is available in Parquet and CSV formats, containing between 1 million and 10 million records. The dataset comprises four standalone configuration tables: cot_panel_long (a tidy long panel where each row corresponds to a report date, contract code, report series, underlying asset and trader category), cot_features_weekly (a model-ready wide table containing open interest and its changes, concentration ratios, net positions by category, net position proportions, changes from the prior report, 52-period and 156-period COT indices, and 156-period Z-scores), markets_reference (reference information for each contract code and series), and release_anomaly_calendar (documented release and methodological events). This dataset aims to address the complexity of raw CFTC data, including disparate start dates, structural differences, and filename conventions across different report series, unifying four decades of schema drift into a single consistent schema and clarifying release history. The dataset only contains position data with no price information included. Trader classifications are based on self-reported business purposes and are subject to CFTC reclassification. Report dates typically correspond to Tuesday market close, though 163 non-Tuesday dates exist. Releases are typically issued at 3:30 PM ET on Fridays, adjusted for holidays. The dataset specifically flags release anomalies during the funding lapse period from October to December 2025. This dataset is applicable to financial and economic research, particularly tasks such as futures market position analysis, time series modeling, and market sentiment indicator construction. The data is sourced from CFTC Trader Position Reports (U.S. Government Work, Public Domain), and is released by Arimancy LLC under the CC BY 4.0 license.

原始信息汇总

数据集概述

数据集名称：CFTC Commitments of Traders Weekly Panel
许可证：CC BY 4.0
数据规模：1M 到 10M 行
数据来源：原始数据来自美国商品期货交易委员会（CFTC）的持仓报告（公共领域），由 Arimancy LLC 整理发布，与 CFTC 无隶属关系。
时间跨度：1986 年至最近一个星期五。
数据格式：Parquet 和 CSV。

表格结构

数据集包含四个独立的配置（表），每个配置有各自的模式，不可拼接：

1. cot_panel_long：整洁的长面板数据，每行对应一个（报告日期、合约代码、报告系列、基础、交易者类别）组合。
2. cot_features_weekly：模型就绪的宽表，每行对应一份报告，包含未平仓合约及其变化、集中度比率（附带来源异常标记）、各交易者类别的净持仓、净持仓占比、相对上一报告的变化、52 期和 156 期的 COT 指数、156 期 Z 分数。窗口计算基于 market_key（合约一致性替代键）。
3. markets_reference：每行对应一个合约代码和报告系列的市场参考表。
4. release_anomaly_calendar：记录发布时间和方法变更事件。

加载方式

使用 datasets 库按配置名加载：

python from datasets import load_dataset

panel = load_dataset("Arimancy/cftc-cot-weekly", "cot_panel_long") feats = load_dataset("Arimancy/cftc-cot-weekly", "cot_features_weekly")

完整列文档、类别定义、年度发布节奏表、已删除列附录和数据泄漏说明均在随附的 data_dictionary.md 文件中。

创建目的

CFTC 发布的多个报告系列具有不同起始日期、模式和文件名约定，且官方常见问题指出数据缺少主键。本数据集将过去四十年的模式变化整合为统一模式，并明确记录发布历史。

注意事项

• 仅包含持仓数据，无价格数据。市场参考表提供连接键，用户需自行引入价格数据。
• 交易者分类基于 CFTC Form 40 的自我报告业务目的，受 CFTC 重新分类影响。类别为监管分类，非策略标签。
• report_date 为 CFTC 发布的截至日期（通常为周二收盘），其中 163 个日期并非周二（包括早期非周报历史和假日调整）。report_weekday 和 is_standard_tuesday 列可筛选异常。发布时间通常为周五美国东部时间下午 3:30，节假日前后会调整，特殊事件期间不规律，应使用发布异常日历。
• 2025 年 10 月至 12 月拨款暂停期间，发布中断六周并于 12 月回溯填充，report_date 完整，但原始发布时间中断。
• 早期历史发布节奏非周报制，详见年度节奏表。
• 组合基础使用交易所提供的 delta 将期权转换为期货等值头寸（CFTC 方法）。
• 非报告头寸为衍生残差（未平仓合约减去报告头寸），不包含交易者数量。
• 合约合并方法随 CFTC 公告变化，面板按各日期 CFTC 发布内容报告。
• CFTC 重复使用合约市场代码。当同一代码对应两种不同底层合约时，特征表使用 market_key 区分，确保窗口特征不会混合。

归属与许可

来源：CFTC 持仓报告（美国政府作品，公共领域）。
发布者：Arimancy LLC，采用 CC BY 4.0 许可证。许可证文本和归属目标包含在 LICENSE.txt 中。
数据集页面：https://arimancy.com/datasets/cftc-commitments-of-traders-weekly

搜集汇总

数据集介绍

构建方式

该数据集由Arimancy LLC基于美国商品期货交易委员会（CFTC）发布的《交易商持仓报告》系列数据构建而成。面对CFTC在多个报告族系间存在的不同起始日期、表结构与文件命名惯例，以及官方FAQ中承认的数据缺乏主键的困境，数据集将跨越近四十年的模式演变统一至单一架构内。构建过程涉及对原始报告的细致梳理，将每周报告整合为一个整洁的长面板表格及一个宽表形式的模型就绪特征表，同时辅以市场参考与发布异常日历表，形成四表体系，并通过命名配置进行区分。

特点

数据集的核心特点在于其高度的整洁性与模型就绪程度。其长面板表（cot_panel_long）采用统一架构，每行对应一个特定的报告日期、合约代码、报告族系、基础类型与交易者类别。特征宽表（cot_features_weekly）则通过市场键（market_key）对合约进行一致性代理，极大地方便了时间序列与跨品种分析。为应对CFTC重用合约市场代码的问题，数据集引入market_key将不同底层合约的窗口特征分离，确保特征计算精确。此外，数据集还收录了发布异常日历，以记录因年度拨款中断等事件导致的发布暂停与回溯填补情况，增强了数据的历史完整性认知。

使用方法

用户可通过HuggingFace的datasets库按配置名称加载各表，例如使用`load_dataset("Arimancy/cftc-cot-weekly", "cot_panel_long")`获取长面板数据。数据集以Parquet和CSV格式存储，从1986年覆盖至最近一周。完整的列文档、类别定义、发布节奏表及泄漏说明等均封装在附带的data_dictionary.md文件中。使用时需特别注意，数据集仅提供持仓数据，不包含价格，用户需自行获取价格信息。交易者分类基于CFTC Form 40上的自我报告业务目的，其分类属于监管框架的产物，并非策略标签，使用者应审慎解读。

背景与挑战

背景概述

该数据集由Arimancy LLC创建，首次发布于2025年，聚焦于美国商品期货交易委员会（CFTC）发布的《交易者持仓承诺（COT）》周报数据。COT报告是金融与大宗商品领域的核心监管数据，自1986年起每周公布，揭示了期货市场中不同交易者类别（如商业与非商业持仓）的持仓分布，对分析市场情绪、投机行为及风险管理具有深远影响。然而，CFTC发布的数据以多种报告系列存在，具有不同的起始时间、架构与文件命名惯例，且其FAQ明确指出缺乏主键，导致跨历史周期的整合与分析面临阻碍。本研究旨在通过构建一个统一、整洁且可直接建模的周度面板数据集，解决这一长期困扰学界与业界的数据碎片化问题，从而为金融时间序列分析、市场微观结构研究与量化策略开发提供坚实的数据基础。

当前挑战

数据集面临的核心挑战包括：1）数据整合的复杂性：CFTC的COT数据跨越近四十年，期间经历了架构漂移，不同报告系列间存在起始时间、字段定义与命名惯例的差异，缺乏统一主键，使得跨时期的纵向分析与跨系列的横向对比变得极其困难。2）时间序列的不连续性与异常事件：数据发布频率并非始终为周度，早期历史记录为不规则周期，且诸如2025年10月至12月拨款中断等事件导致发布暂停六周并事后回溯填充，构成了显著的时序间断与数据验证难题。3）合约代码重用问题：CFTC存在合约市场代码重复使用的情况，同一代码可能指向不同的底层合约，产生数据混合风险，需通过引入市场键（market_key）进行分离，避免窗口特征计算错误。4）交易者分类的依赖与局限：交易者分类基于CFTC Form 40的自我报告，属于监管分类而非策略标签，存在主观性与重分类可能，且非报告类持仓作为推导残差缺乏交易者计数，进一步增加了数据解释与建模的挑战。

常用场景

经典使用场景

该数据集在金融与经济学领域被广泛用于分析期货市场的持仓结构演变与交易者行为特征。研究者通过利用其整合了1986年至最近周五的CFTC持仓报告，构建多维度时间序列面板，从而揭示不同交易者类别（如商业与非商业交易者）在各类期货合约中的净头寸变化趋势。其独特的COT指数与Z-score特征能够量化持仓极端位置，为市场情绪与价格拐点预测提供重要信号。经典研究场景包括跨资产类别的持仓周期性分析、交易者拥挤度监测以及基于持仓数据的市场微观结构建模。

解决学术问题

该数据集系统性地解决了CFTC原始数据长期存在的模式碎片化与关联缺失问题，提供了首个统一的、具有可追溯发布历史的周度持仓面板。学术上，它使研究者能够克服跨报告家族的时间对齐困难，并利用明确的分类体系与市场键（market_key）解析合约代码复用与品种变更带来的歧义。这极大地便利了关于交易者分类对价格发现影响的实证研究，并使得投机与套期保值理论检验、信息不对称模型校准等前沿议题得以在更干净、更可复现的数据基础上开展，从而深化了对期货市场运行机理的认知。

衍生相关工作

基于该数据集，学术界与业界已衍生出多项重要工作。在学术层面，有研究利用其统一的面板结构重新检验了凯恩斯正常交割延期理论（Keynesian Normal Backwardation），并拓展到新兴农产品市场。也有经典论文借助其COT指数构建了商品期货的投机热度指标，验证了极端持仓对短期收益率反转的预测能力。产业应用中，数据集的宽表特征被用于训练基于梯度提升的持仓模式识别模型，并开发出公开的COT指标可视化仪表盘，如Arimancy社区维护的周度持仓报告解读库。此外，该数据清洗与对齐方法论还被引用于其他监管数据（如EIA能源库存）的标准化处理工作中。