investment_data

全流程可追溯、自动更新的开源金融行情数据集，包含中国A股市场行情、复权因子、交易日历、证券信息、指数成分权重和Tushare daily_basic指标，旨在解决Qlib原生数据更新失效、数据源脏、幸存者偏差等问题。A fully traceable and automatically updated open-source financial market dataset that covers China A-share market quotes, adjustment factors, trading calendars, security information, index component weights, and Tushare daily_basic indicators. This dataset is designed to resolve problems such as failed updates of native Qlib data, unclean data sources, and survivorship bias.

原始信息汇总

investment_data：Qlib 中国市场数据导出与发布工具

项目概述

本项目提供从配置好的 MySQL 数据库读取中国市场行情、复权因子、交易日历、证券信息、指数成分权重以及 Tushare daily_basic 指标，生成可供 Microsoft Qlib 使用的二进制数据的完整工具链。同时提供配套的 deep-alpha 离线数据命令行工具，支持数据下载、检查与更新。

数据发布包结构

每次正式发布包含两个相互兼容的文件：

• qlib_bin.tar.gz：主 Qlib 数据包，包含交易日历、证券列表、行情 Feature 和指数成分。
• daily_basic_qlib_features.tar.gz：daily_basic Feature 增量包，安装到主 Provider 的 features/ 目录中。

两个包使用完全相同的 Qlib 交易日历，发布前会验证日历 SHA-256，避免 Feature 日期偏移。使用时必须从同一 GitHub Release 标签下载两个文件，不可混用不同日期的资产。

快速使用方法

下载与安装

1. 使用 wget 或 GitHub CLI 下载主数据包与增量包。
2. 通过 tar 解压主数据包到 Qlib 默认目录（需使用 --strip-components=1）。
3. 使用安全安装器 qlib/install_feature_increment.py 安装增量包，安装器会校验归档路径、manifest、SHA-256、日历兼容性，并拒绝覆盖来源不明的同名 Feature。
4. 安装完成后，可在 Qlib 中通过一次 qlib.init() 联合查询行情与 daily_basic 指标。

数据下载与更新

• 使用 deep-alpha download 下载基础行情，deep-alpha download --dataset daily-basic 下载每日指标。
• 使用 deep-alpha update 更新基础行情，deep-alpha update --dataset daily-basic 更新每日指标。
• 使用 deep-alpha info 检查本地数据。

数据同步与回填

• 通过 python tushare/sync_daily_basic.py 同步当天 daily_basic 数据，默认定位到交易日历中最近开盘日，支持幂等 upsert。
• 支持按日期范围进行历史回填，提供 --skip-existing、--request-interval、--batch-size 等参数控制同步行为。

数据处理规则

• 行情复权与归一化：主行情构建经过复权计算（adjclose = close × adj_factor）和 Qlib 标准化流程，$open、$high、$low、$close、$vwap 为复权归一化序列，不代表原始成交价；daily_basic 指标保持数据库原值，不复权、不归一化。
• 日历对齐：增量包构建时读取基础 Provider 的 calendars/day.txt，manifest 保存日历起止日期、行数和 SHA-256，安装前验证日历兼容性，增量包自身不携带或替换日历。

daily_basic 字段说明

当前增量包包含 15 个 Feature：

字段名	中文名称	详细解释
turnover_rate	换手率(日)	当日股票成交股本/流通股本×100%，衡量个股当日交易活跃度
turnover_rate_f	自由流通换手率	当日成交量/自由流通股本计算的换手率，反映散户/短线资金交易热度
volume_ratio	量比	当前累计成交量/过去5日同一时段平均成交量，判断资金异动
pe	静态市盈率	总市值÷上一完整会计年度归母净利润
pe_ttm	滚动市盈率(TTM)	总市值÷过去连续12个月归母净利润，平滑季度业绩波动
pb	市净率	总市值÷归属母公司股东净资产，重资产、银行、周期股核心估值指标
ps	静态市销率	总市值÷上一年度营业收入，适用于未盈利但营收增长的企业
ps_ttm	滚动市销率(TTM)	总市值÷过去12个月累计营业收入
dv_ratio	静态股息率	上一完整年度现金分红总额/当前总市值×100%
dv_ttm	滚动股息率(TTM)	过去12个月实际现金分红总额/当前总市值
total_share	总股本	上市公司全部发行股份总数(限售股+流通股)
float_share	流通股本	二级市场可正常交易的股份
free_share	自由流通股本	在流通股本基础上剔除大股东、战略投资者长期持有股份
total_mv	总市值	总股本×当前股票收盘价
circ_mv	流通市值	流通股本×当前股票收盘价

构建与发布流程

• 主数据包通过 ./dump_qlib_bin.sh 构建，支持并发数控制、新鲜度检查等配置项。
• 增量包通过 DAILY_BASIC_BASE_PROVIDER 指定基础 Provider 后执行 ./dump_daily_basic_qlib_features.sh 构建，归档仅包含白名单 Feature、manifest、checksums 和构建报告。
• 发布前使用 python qlib/validate_release_archives.py 联合校验两个包的日历一致性，最后执行 ./upload_release.sh 发布。

安全与故障恢复

• 要求 .env、数据库密码、Tushare Token 和 GitHub Token 不得提交。
• 发布前必须同时验证主包和增量包。
• 使用安全安装器安装增量包，安装器会创建备份和恢复 journal，支持 --recover 恢复、--uninstall daily_basic 卸载。
• 定时发布采用锁保护，后台任务通过状态文件区分不同状态。

贡献指南

• 增加指数需扩展数据采集逻辑、确认历史记录并修改指数权重输出配置。
• 增加数据源或字段需创建 Issue 讨论，说明数据用途、来源授权、回填方式、更新机制、验证方案等，新增 Feature 须使用显式白名单。

搜集汇总

数据集介绍

构建方式

investment_data数据集源自对MySQL数据库的精心编排与提炼，旨在服务于金融量化研究领域。其构建流程严谨而系统，首先从配置完备的MySQL中抽取中国市场行情、复权因子、交易日历、证券信息、指数成分权重及Tushare daily_basic指标等核心要素。随后，通过深度定制化的脚本，对各证券行情进行复权归一化处理，并利用Qlib的标准化逻辑生成二进制特征文件。构建过程严格遵循日历对齐原则，确保主数据包与daily_basic增量包在时间轴上完全一致，最终打包为两个相互兼容的发布文件，供研究者直接部署于Qlib环境。

使用方法

使用此数据集的过程简便而稳健。研究者可通过配套的deep-alpha命令行工具进行数据的下载、更新与检查。安装时，主包可直接解压至Qlib目录，而增量包则须借助安全安装器，该安装器会执行路径安全校验、日历兼容性验证及冲突检测，确保数据安装的绝对安全。完成安装后，通过单次qlib.init()调用即可联合查询行情与daily_basic指标，实现高效率的数据检索。更新与卸载操作同样由安装器管理，支持备份恢复与状态追踪，为用户提供了全生命周期的一站式数据管理体验。

背景与挑战

背景概述

investment_data数据集由xu-duqing等人开发，旨在为中国A股市场提供标准化、可直接用于量化研究的Qlib格式数据。该数据集创建于近年，针对Microsoft Qlib平台，通过从MySQL数据库读取行情、复权因子、交易日历、指数成分及Tushare daily_basic指标，生成二进制数据包，解决了中国金融市场数据格式不统一、处理流程繁琐的痛点。其核心研究问题在于如何高效、可靠地将原始市场数据转化为适用于机器学习模型的特征，同时确保数据的一致性和可复现性。该数据集影响力体现在为量化研究者提供了便捷的离线数据解决方案，配套的deep-alpha工具简化了数据下载与更新流程，促进了Qlib在中国市场的应用与推广。

当前挑战

该数据集面临多重挑战。领域问题层面，中国A股市场数据复杂，涉及复权处理、日历对齐、指数成分变动等，需确保数据准确性和一致性，避免因数据错位导致研究结论错误。构建过程中，挑战包括：1) 数据同步与回填，需处理Tushare API限速、交易日历映射及历史数据完整性；2) 主包与增量包日历一致性验证，防止特征日期偏移；3) 安全与故障恢复，安装器需防范路径穿越、覆盖冲突，确保更新可回滚；4) 数据质量验证，需通过校验和、日历SHA-256等机制防止错误数据发布。这些挑战要求高度自动化的流程和严格的质量控制，以支撑可靠的量化研究。

常用场景

经典使用场景

该数据集的核心应用场景是为量化金融研究提供标准化、可复现的中国市场数据底座。通过将MySQL中的原始行情、复权因子及Tushare每日指标，转换为Microsoft Qlib直接可用的二进制格式，研究者得以在统一的数据接口下构建和回测多因子模型、资产定价模型及市场微观结构分析。其严格的对齐机制和复权归一化处理，保障了跨时间序列的连续性和可比性，尤其适用于高频因子挖掘、指数增强策略及波动率预测等经典研究范式。

解决学术问题

在学术研究中，数据质量与一致性常成为制约成果可靠性的瓶颈。此数据集直面数据错位、复权失真及日历不一致等顽疾，通过预构建的日历哈希校验和安全安装器，彻底消除了因数据偏差导致的伪研究结论。其提供的15项daily_basic指标（如市盈率、换手率、市值）填补了基础行情与公司财务属性之间的鸿沟，使得横截面定价模型、流动性溢价分析及事件研究等实证工作得以在可控误差范围内展开，显著提升了研究的可复现性与可信度。

实际应用

在实际应用中，该数据集为量化投资团队提供了从数据清洗到模型部署的端到端支持。借助配套的deep-alpha命令行工具和增量更新机制，机构可每日自动获取对齐后的日频数据，无缝接入Qlib的Alpha挖掘、组合优化与模拟交易流程。其安全安装与回滚功能降低了生产环境的运维风险，使高频调仓策略、风险归因系统及智能投顾服务的快速迭代成为可能，亦为金融科技企业构建私有化数据管道提供了范式参考。

数据集最近研究

最新研究方向

在中国量化投资与人工智能驱动的金融研究领域，高质量、标准化且可复现的数据基础设施成为前沿探索的基石。investment_data项目应运而生，它致力于将中国A股市场的行情、估值及交易活跃度等多维数据，通过严谨的工程化流程，转化为Microsoft Qlib等先进量化平台可直接消费的二进制格式。该项目不仅聚焦于数据同步与构建的效率，更开创性地强调了数据完整性校验、安全增量更新与日历对齐机制，有效解决了多源数据融合中的一致性与可靠性难题。其研究方向紧密贴合金融科技智能化浪潮，为多因子模型、市场微观结构分析及机器学习预测等前沿课题提供了坚实的数据支撑，对推动中国量化研究的规范化与可复现性具有显著意义。