lecong1408/congdb

这是一个越南股市（包括HOSE、HNX和UPCOM交易所）的宽矩阵Parquet数据集，数据通过爬取VNDirect和SSI的API获取。数据集包含多个层级：L0为原始JSON数据，L1为长格式Parquet数据（作为数据源），L2为宽矩阵格式（以DatetimeIndex和股票代码为索引），仅包含收盘数据。L2矩阵文件包括每日价格数据（如OHLC原始和调整后数据、成交量、市值等）、指数数据、参考数据（如交易所成员矩阵、市值）以及财务报表（季度数据）。数据格式兼容ambrain元数据，可通过ab.Context或pd.read_parquet加载。更新计划包括：每日收盘后更新（HOSE和指数数据），交易日内的盘中快照（HOSE每日9次），HNX/UPCOM价格每周更新，财务报表季度更新，盘中数据保留5天。数据集基于MIT许可证，数据来源于公开渠道，适用于研究和个人使用。Wide-matrix parquet dataset for the Vietnam stock market (HOSE / HNX / UPCOM), crawled from VNDirect and SSI APIs. The dataset includes multiple levels: L0 raw JSON data, L1 long-format Parquet data (source of truth), and L2 wide-matrix format (DatetimeIndex × ticker) for end-of-day data only. L2 matrix files cover daily prices (raw and adjusted OHLC, volume, market capitalization), index data, reference data (e.g., exchange membership, market cap), and financial statements (quarterly). The format is ambrain-compatible with metadata and loadable via ab.Context or pd.read_parquet. Update schedule: EOD daily updates for HOSE and indices, intraday snapshots for HOSE (9 times per session), weekly updates for HNX/UPCOM prices, quarterly updates for financial statements, with intraday data retained for 5 days. Licensed under MIT, data is from public sources for research and personal use.

搜集汇总

数据集介绍

构建方式

congdb数据集专为越南股票市场设计，涵盖HOSE、HNX和UPCOM三大交易所的数据。其构建采用三层架构：原始数据层（L0）存储来自VNDirect和SSI API的原始JSON响应；长格式层（L1）以Parquet格式保存标准化长表数据，作为真实来源；宽矩阵层（L2）则进一步加工为以日期为索引、股票代码为列的宽表形式，便于直接分析。每日收盘后及盘中快照数据均被系统化抓取和存储，财务报表以季度为频率更新，确保了数据的时间维度和全面性。

特点

该数据集具备高度结构化与专业化的特点。宽矩阵形式覆盖OHLC价格（原始与经公司行为调整后）、成交量、成交额、日收益率及次日收益率等核心指标，同时包含VNIndex和HNXIndex等大盘指数数据。还提供交易所归属矩阵、市值矩阵、ICB行业分类矩阵以及三大财务报表的季度数据。所有矩阵均携带兼容ambrain库的元数据，支持高效的Parquet格式加载，盘中快照保留5天，历史数据持续累积。

使用方法

用户可通过ambrain库的`ab.Context(path)`和`ab.Matrix(...).load_as_df()`方法便捷加载数据，或直接使用`pd.read_parquet`读取Parquet文件。数据集按时间调度更新：HOSE日频数据于每日16:00 ICT完成，盘中快照每天9次；HNX/UPCOM价格每周更新；财务报表季度更新。数据仅供研究或个人使用，基于MIT开源协议发布，可通过HuggingFace仓库直接下载使用。

背景与挑战

背景概述

congdb是一个专注于越南股票市场的数据集，由研究人员于近期创建，主要从VNDirect和SSI等公共API爬取数据，涵盖HOSE、HNX和UPCOM三大交易所。该数据集以宽矩阵格式存储，包含OHLC价格、调整后价格、成交量、市值、指数及财务数据等丰富信息，旨在为金融时间序列分析、量化交易策略及市场微观结构研究提供标准化数据基础。其设计兼容Ambrain框架，支持日内快照与定期更新，显著降低了获取越南股票市场高质量结构化数据的门槛，对新兴市场金融研究具有重要推动作用。

当前挑战

该数据集面临的核心挑战包括：1) 所解决的领域问题——越南股票市场数据分散于多个公共来源且格式不一，传统上研究者需手动整合，造成效率低下与数据不一致，congdb通过统一爬取与规范化处理，解决了数据获取与预处理的高成本问题；2) 构建过程中遇到的挑战——数据源（VNDirect、SSI）的API限制与不稳定可能导致爬取中断或数据缺失，需设计稳健的重试与校验机制；此外，财务数据按季度更新且为字符串索引，如何与高频价格数据对齐以支持跨频率分析是技术难点；日内数据保留仅5天，长期回测需依赖外部存储策略，增加了数据管道维护的复杂性。

常用场景

经典使用场景

在量化金融与计算金融学的研究领域中，数据集被广泛用于构建和回测基于越南股票市场的交易策略。研究者常利用其提供的OHLC日频价格数据（包括前复权与未复权版本）以及指数行情信息，通过时间序列分析、统计套利和因子模型等经典方法，训练预测股票未来收益的模型。同时，该数据集内嵌的市场资本化、交易所成员矩阵及ICB行业分类等基准信息，为构建多因子投资组合提供了必需的底层数据支撑，堪称越南股市量化研究的基石。

解决学术问题

该数据集系统性地解决了越南股票市场长期缺乏高质量、结构化且可复现的金融数据的学术痛点。此前，研究东南亚新兴市场的学者常受困于数据碎片化、清洗繁琐及前复权处理不透明等问题。congdb通过提供统一的宽表（wide-matrix）格式、标准化后的调整价格（已处理拆股、分红等公司行为）以及配套的指数与财务报表数据，使得资产定价、市场微观结构分析、公司金融效应检验等经典学术问题得以被高效且严谨地验证，极大推动了针对越南这一典型新兴市场的实证金融研究。

衍生相关工作

基于此数据集的结构设计理念，已衍生出多项具有启发性的相关工作。首先，其‘原始层(L0)-长表层(L1)-宽表层(L2)’的分层架构模型，被后续其他新兴市场金融数据项目采纳为组织范式，用以解决多源数据融合与版本控制难题。其次，数据集中提供的预计算收益序列（如gr1d及gra1d）启发了多项关于‘越南股市动量与反转效应’的复制性研究工作。此外，若干开源量化框架（如ambrain等）通过适配congdb的元数据规范，实现了对越南股市数据的原生支持，从而降低了跨市场量化研究的迁移成本。