usaspending-bulk-awards

USAspending bulk awards (contracts & assistance) 是一个经过清理、分区且便于查询的 Parquet 格式数据集，它镜像了美国 USAspending.gov 奖项数据档案中的公开数据。该数据集专注于联邦政府的主要合同和财政援助（如补助金、贷款等）交易记录，时间覆盖自 2007 财年至今的所有机构。原始源数据由约 4,600 个按机构划分的 ZIP/CSV 文件组成（未压缩约 830 GB），本数据集对其进行了规范化处理：转换为类型化的 Parquet 格式并使用 zstd 压缩，体积缩小约 8 倍；将金额列处理为 `double` 类型，日期列处理为 `date` 类型；并按照财年 (`fiscal_year`) 和机构代码 (`agency`) 进行 Hive 分区，以支持高效的谓词下推查询。数据集包含两个核心部分，分别对应不同的模式：`contracts`（合同，297 列）和 `assistance`（援助，112 列）。此外，还提供了一系列参考表，包括数据字典（详细说明每个列的定义、取值范围和来源文件）、机构代码与名称对照表、灾难紧急基金代码表、术语表以及援助项目目录。该数据集适用于政府支出透明度分析、合同与援助资金流向追踪、机构预算研究、数据新闻以及基于大规模政府交易数据的商业智能应用。需要注意的是，它仅包含主要奖项（prime awards）数据，不包含子奖项（subawards）或来自 USAspending 自定义批量下载 API 的账户文件数据，也非完整的 USAspending 数据库转储。数据集会随源数据更新而刷新，但仅重新处理发生变化的（机构，财年）数据分区。

原始信息汇总

数据集概述

名称: USAspending bulk awards (contracts & assistance) 许可: 美国政府公共领域作品（other: us-government-works） 语言: 英语 类别: 政府、联邦支出、合同、拨款、USAspending 数据规模: 1亿至10亿行（100M<n<1B）

数据来源与覆盖范围

• 来源: USAspending.gov 的公开奖项数据档案（Award Data Archive），为美国政府公共领域数据。
• 覆盖时间: 2007财年至今（FY2007–present），仅包含主合同和财政援助交易。
• 不包含: 子奖项以及账户File A/B/C数据（这些通过USAspending的Custom Bulk Download API获取）。

数据格式与处理

• 原始数据：约4600个按机构划分的ZIP/CSV文件，压缩前约830 GB。
• 本数据集：已标准化为带类型的zstd压缩Parquet格式（体积缩小约8倍）。
  • 金额列类型为 double
  • 日期列类型为 date
  • 按Hive分区，支持快速谓词下推查询。

数据布局

按财年和机构进行Hive分区，包含两个数据子集：

• contracts/：主合同数据，297列，路径格式为 contracts/fiscal_year=YYYY/agency=CODE/part.parquet
• assistance/：拨款/贷款等财政援助数据，112列，路径格式为 assistance/fiscal_year=YYYY/agency=CODE/part.parquet
• reference/：可关联的维度表（Parquet格式）

参考表（维度表）

文件	行数	描述
reference/data_dictionary.parquet	457行	数据字典，包含每列定义、域值和来源文件
reference/toptier_agencies.parquet	111行	机构代码与名称的对照表
reference/def_codes.parquet	51行	灾难紧急基金代码（COVID-19: L–U, IIJA: Z和1）
reference/glossary.parquet	151行	通俗术语定义
reference/assistance_listing.parquet	56行	CFDA/援助项目目录

使用示例（DuckDB）

python import duckdb con = duckdb.connect()

使用分区剪枝查询FY2024某机构的前10大收款人

con.sql( SELECT recipient_name, sum(federal_action_obligation) AS obligated FROM read_parquet(contracts/**/*.parquet, hive_partitioning=true) WHERE fiscal_year = 2024 AND agency = 097 GROUP BY 1 ORDER BY 2 DESC LIMIT 10 ).show()

数据更新

• 更新方式：当源档案重新发布时刷新；仅重新处理有变化（机构、财年）的分片（基于文件ETag追踪）。
• 内容：仅保留最新快照。

搜集汇总

数据集介绍

构建方式

本数据集源自美国联邦政府公共支出平台USAspending.gov的官方数据档案库，覆盖FY2007至今的联邦主要合同与财政援助交易记录。原始数据以每年约4600个按机构拆分的ZIP及CSV文件形式发布，解压后规模接近830GB。为提升存储与查询效率，本数据集将这些异构文件统一转化为类型化、经zstd算法压缩的Parquet列式存储格式，压缩比约为原始数据的八分之一。其中金额字段统一转换为double类型，日期字段标准化为date格式。数据集进一步按财年与机构代码进行Hive分区，便于利用谓词下推机制实现高效的数据过滤与查询。

特点

该数据集具备鲜明的结构化与易用性特征。其包含两个独立产品——合同记录（297个字段）与援助记录（112个字段），各自拥有差异化的模式定义。所有数据均按Hive分区组织为`contracts`与`assistance`两大目录，每一分区对应特定财年及机构代码。此外，数据集配套发布了五张维度参考表，包括字段定义与域值映射的数据字典、机构代码与名称对照表、灾难紧急基金代码表、术语表及援助项目目录。这些辅助表极大降低了用户理解与整合数据的门槛。整个数据集使用美国政府公共领域数据，确保合法使用。

使用方法

本数据集设计为可直接通过支持Parquet格式及Hive分区读取的计算引擎进行查询。推荐使用DuckDB这种嵌入式分析数据库进行快速探索，用户只需通过`read_parquet`函数并指定`hive_partitioning=true`参数，即可利用分区裁剪功能仅扫描目标财年与特定机构的数据。例如，选定2024财年与某机构代码后，可快速汇总主要收款人的合同义务金额。更新策略上，数据集仅在源端重新发布时局部刷新，依据文件ETag追踪变更，仅重新处理已变化的财年与机构切片，始终保留最新快照版本。

背景与挑战

背景概述

在政府财政透明度与公共数据可及性日益受到关注的背景下，美国财政部于2017年推出了USAspending.gov平台，旨在向公众提供联邦支出的详细记录。该平台由美国财政部、管理与预算办公室以及多家联邦机构协同维护，其核心研究问题在于如何高效、规范地公开自2007财年至今的政府采购合同与援助资金数据，以促进公共监督与学术分析。数据集usaspending-bulk-awards应运而生，它通过将原始约830GB的CSV文件转换为压缩率高达8倍的Parquet格式，并采用Hive分区策略，极大提升了数据查询效率。这一标准化处理不仅保留了297列合同数据与112列援助数据的完整架构，还附带了数据字典、机构代码表等参考表，为跨领域的政府支出研究提供了可靠基石，显著推动了联邦财政数据分析的民主化进程。

当前挑战

该数据集所应对的领域挑战在于联邦支出数据的庞杂性与异构性——原始数据分散于约4600个按机构发布的ZIP/CSV文件中，且包含合同与援助两种截然不同的结构，缺乏统一的数据类型和查询能力，阻碍了大规模分析与跨机构比较。构建过程中遭遇的核心难题包括：将金额字段从字符串转换为双精度浮点数、日期字段规范化以及跨文件一致性的保证；同时，仅处理主合同与直接援助交易，排除次级合同与完整数据库转储，意味着需要精确界定数据范围并应对仅增量更新的变更追踪机制（依据ETag识别）。此外，COVID-19与基础设施法案等紧急事件衍生的特殊基金代码（如L–U、Z、1）的融入，要求设计灵活的维度表以适配动态政策变化，这对数据管道的鲁棒性提出了严峻挑战。

常用场景

经典使用场景

USAspending批量拨款数据集（usaspending-bulk-awards）是联邦支出研究领域的核心资源，广泛应用于对美国政府采购合同与财政援助交易的深度分析。研究人员常利用其Hive分区特性（按财年和机构划分）和Parquet列式存储格式，高效执行跨机构、跨年份的支出趋势查询，例如追踪特定机构（如国防部）的年度合同总额、识别最大受助实体或分析新冠疫情专项基金（如DEFC代码L-U标记）的分配流向。该数据集凭借297列的合同表与112列的援助表，为明细级支出结构剖析提供了坚实基础。

解决学术问题

该数据集有效破解了联邦支出研究中长期存在的碎片化与可复现性困境。传统上，数十万份分散的CSV/XML文件（总计约830GB）严重阻碍了系统性计量分析；本数据集通过标准化模式（统一数据类型、压缩至约8倍体积）和键值维度表（如机构代码对照、数据字典），使学者能够轻松复现关键研究，如财政刺激政策的经济乘数效应、政治分配中的偏袒现象，以及采购流程中的竞争性与绩效关联。其开源属性更促进了跨团队协作与假设检验的可验证性。

衍生相关工作

围绕该数据集衍生了一系列标杆性学术与工程成果。在方法论上，有工作提出了基于分区剪枝的增量ETL框架，将年度更新处理时间从周级降至分钟级；在分析应用层面，研究者结合参考表中的COVID-19与IIJA专项代码，量化了《通胀削减法案》对清洁能源合同的拉动效应。数据集的标准化模式还催生了若干开源工具，如自动生成变量字典的可视化平台和基于语义对齐的跨数据库联邦查询系统，进一步推动了公共财政数据生态的互通与演进。