thecharttruth/etf-data

该数据集提供了经过清理的ETF价格、元数据、流动性和市场指数背景表，专为教育性投资组合研究笔记本设计，特别是针对The Chart Truth的skfolio Masterclass。其目标是提供一个公开的、无需登录的数据源，可在Google Colab中加载，并转换为skfolio投资组合工作流程中使用的回报矩阵。该数据集旨在用于教学多样化、流动性筛选、价格到回报转换、风险、相关性、回撤和资产配置研究。数据集包含多个Parquet文件，涵盖95个ETF符号的每日价格历史、元数据、流动性指标以及SPX、VIX和NDX等市场指数的历史数据，适用于教育演示和可重复的研究示例。This dataset provides cleaned ETF price, metadata, liquidity, and market-index context tables for educational portfolio-research notebooks, especially the skfolio Masterclass by The Chart Truth. The goal is to give learners a public, no-login data source that can be loaded in Google Colab and transformed into the return matrices used by skfolio portfolio workflows. It is designed for teaching diversification, liquidity screening, price-to-return transformation, risk, correlation, drawdowns, and allocation research.

搜集汇总

数据集介绍

构建方式

该数据集由The Chart Truth团队精心构建，旨在为金融投资教育提供一套清洁、无需登录即可获取的ETF教学数据。其构建过程聚焦于从公开市场数据源中提取并清洗95只ETF的日线行情、元数据、流动性指标及基准指数价格，最终以Parquet格式高效存储。数据被划分为四个独立配置（prices、metadata、liquidity、indexes），便于按需加载。特别地，元数据表中可能包含未出现在价格表中的符号，以模拟真实世界中数据质量检验的教学场景。整个构建刻意排除了API原始响应、账户信息或交易指令，确保数据集专注服务于投资组合优化与风险管理等教学任务。

特点

本数据集的显著特色在于其教育导向的精心设计。它涵盖117,959条日线价格记录、98条元数据、95条流动性评估及3,784条指数历史，时间跨度从2021年至2026年，支持从基础数据验证、价格到收益率转换，到流动性筛选与多资产配置的完整教学流程。数据集内建四个HuggingFace配置，允许学习者通过datasets库灵活调用各表，而无需任何认证令牌。此外，元数据与价格表的不完全对齐特性，被刻意保留以训练学习者的数据质量检查能力，体现了真实金融市场数据的复杂性与教学实用性。

使用方法

该数据集的使用方法简洁而高效，主要面向Google Colab与skfolio库。学习者首先通过huggingface_hub下载etf_daily_prices.parquet文件，利用pandas将其读取为长格式数据，再通过透视操作将日期与符号展开为宽表。随后，借助skfolio的prices_to_returns函数，即可便捷地将价格序列转化为线性收益率矩阵，为后续的风险分析、相关性计算、回撤评估及投资组合优化奠定基础。此外，也可通过datasets.load_dataset方法直接加载各配置分表，进行元数据检查、流动性排名或指数基准对比，整个流程无需登录，极大降低了教育场景的使用门槛。

背景与挑战

背景概述

在现代金融投资研究中，交易所交易基金（ETF）已成为分散化投资组合构建与风险管理的重要工具。由The Chart Truth团队于2025年创建的etf-data数据集，旨在为量化金融教育领域提供一套清洁、可复现的教学资源。该数据集托管于HuggingFace平台，涵盖了95只ETF标的的日频价格、元数据、流动性指标及市场指数信息，时间跨度从2021年至2026年。其核心研究问题聚焦于如何将原始市场数据转化为可用于投资组合优化的收益率矩阵，从而支撑关于资产配置、风险测量和相关性分析的实证教学。该数据集通过与skfolio库的深度整合，显著降低了金融编程教育的数据获取门槛，对推动可复现的计量金融教学实践产生了积极影响。

当前挑战

该数据集所解决的领域挑战主要包括两方面。其一，在金融投资教育中，原始市场数据往往包含缺失值、幸存者偏差及流动性不足等问题，而现有教学案例常依赖封闭或需认证的数据源，难以支撑大规模、可复现的实证分析。etf-data通过提供经清洗的日度价格与流动性排名数据，使学习者能聚焦于投资组合优化的核心方法论，而非数据预处理的技术细节。其二，数据集的构建过程亦面临挑战：需从多个异构数据接口整合ETF信息，确保价格、元数据与流动性指标在时间维度上的一致性；同时需在有限的教学规模内平衡数据完整性与存储效率，避免引入过度噪声。此外，元数据表与价格表之间可能存在的符号不匹配，被刻意保留以模拟现实操作中的数据质量校验问题，这对数据集的设计意图与实用价值构成了微妙权衡。

常用场景

经典使用场景

etf-data数据集专为金融投资教育场景而设计，核心用途是支持投资组合优化与风险管理教学。在学术研究和量化分析课程中，学习者可利用该数据集进行ETF价格数据的清洗、验证与重构，将长格式的日频OHLCV数据转换为宽格式收益矩阵，进而借助skfolio等工具开展分散化投资、流动性筛选、风险收益分析、相关性研究以及回撤评估等经典教学实践。该数据集无需登录即可在Google Colab中加载，极大地降低了金融数据教学的门槛。

实际应用

在实际应用中，etf-data数据集主要服务于金融科技教育平台、高校量化金融课程以及个人投资者的技能提升。它常被用于构建可复现的投资组合研究示例，例如在skfolio教程中演示如何从原始价格数据出发，完成流动性筛选、收益计算、协方差矩阵估计和有效前沿绘制等完整流程。此外，该数据集还可用于回测简单交易策略、分析ETF的板块暴露特征，或在职业培训中模拟真实的资产配置决策环境，帮助学员快速掌握从数据到决策的实战技能。

衍生相关工作

基于etf-data数据集，衍生出了一系列面向投资组合教育的工作，其中最典型的是The Chart Truth推出的skfolio Masterclass系列教程。这些教程以该数据集为唯一数据源，系统地展示了如何将原始市场数据转化为优化可用的收益矩阵，并深入讲解了均值-方差优化、风险平价、Black-Litterman模型等经典资产配置框架。此外，社区中也出现了利用该数据集编写的教学notebook，专注于流动性指标计算、市场状态划分以及多因子风险归因等专题，进一步丰富了金融数据科学的教育生态。