pt-elections

该仓库包含生成最新葡萄牙选举数据集的源代码，数据集涵盖地方选举和立法选举的原始和处理后数据，最终生成统一的CSV格式数据集。

This repository contains the source code for generating the latest Portuguese election dataset, which covers raw and processed data from both local and legislative elections and ultimately produces a unified CSV-formatted dataset.

原始信息汇总

PT elections 数据集概述

数据集内容

• 包含最新葡萄牙选举数据集
• 涵盖地方选举（autarquicas）和立法选举（legislativas）数据

数据生成流程

数据提取阶段

• 使用Rust从数据源读取数据
• 输出原始JSON文件至S3存储：
  • s3://pt-elections/raw/autarquicas2025/*/*.json
  • s3://pt-elections/raw/legislativas2025/*/*.json

数据处理阶段

• 使用Python脚本分析数据
• 使用DuckDB进行数据聚合分析
• 生成最终数据集文件：
  • s3://pt-elections/processed/autarquicas2025/v1/all.json
  • s3://pt-elections/processed/legislativas2025/v1/all.json
  • s3://pt-elections/processed/all/v1/all.csv

主要数据集文件

• 完整数据集：s3://pt-elections/processed/all/v1/all.csv
• 数据集规范文档：https://github.com/jorgecarleitao/pt-elections/blob/main/specification.md

技术架构

• 数据提取：Rust语言
• 数据分析：DuckDB/SQL/Python
• 存储位置：AWS S3云存储

搜集汇总

数据集介绍

构建方式

在政治选举研究领域，数据采集与处理的严谨性至关重要。该数据集通过多阶段技术流程构建：首先采用Rust语言实现高性能异步数据采集，从官方选举数据源实时抓取原始JSON文件并存储于云端；随后运用DuckDB列式数据库进行分布式计算，结合Python脚本实现数据清洗与多维聚合，最终生成标准化选举统计文件。这种混合架构既保障了数据获取的时效性，又确保了分析过程的计算效率。

特点

作为葡萄牙选举研究的专业数据集，其核心价值体现在三方面：数据覆盖层面完整收录地方与立法选举的双轨记录，时间维度聚焦最新选举周期确保时效性；技术特征采用列式存储的CSV与JSON双格式输出，兼顾分析效率与可读性；元数据管理通过规范化文档明确字段定义，为跨研究比较提供坚实基础。这种设计使数据集既能支持宏观趋势分析，又可满足微观选举行为研究。

使用方法

针对选举学研究者的操作需求，数据集提供清晰的启用路径。研究者需配置云服务认证参数后，通过命令行依次执行数据采集与处理流水线：Rust程序负责原始选举数据的获取与持久化，Python分析脚本则实现数据转换与聚合。最终生成的CSV文件可直接导入统计工具进行量化分析，而分层存储的JSON文件则为特定选区研究提供细粒度数据支持。这种模块化设计使研究者能灵活选取所需数据维度。

背景与挑战

背景概述

在政治科学与计算社会科学交叉领域，选举数据标准化研究始终是推动民主进程量化分析的重要基石。pt-elections数据集由技术团队于2025年创建，采用Rust与DuckDB技术栈构建葡萄牙最新地方与立法选举的标准化数据集。该数据集通过自动化采集官方选举数据，致力于解决多源异构选举信息的整合难题，为选举行为研究、政党格局分析和投票模式预测提供结构化数据支撑，显著提升了南欧政治生态研究的可计算性。

当前挑战

选举数据治理面临原始数据异构性挑战，需处理不同行政层级候选名单与投票统计的非标准化格式。构建过程中需克服分布式数据采集的异步控制难题，确保海量JSON文件在S3存储体系下的完整性校验。技术实现层面要求Rust管道与Python分析模块的协同优化，同时需维持DuckDB列式存储与CSV导出格式的数据一致性，这对跨语言数据处理框架的稳定性提出较高要求。

常用场景

经典使用场景

在政治科学研究领域，pt-elections数据集为分析葡萄牙选举模式提供了系统化的数据支撑。该数据集通过整合地方自治选举和立法选举的详细结果，使研究人员能够深入探究选民行为特征、政党支持率动态变化以及选区划分对选举结果的影响。其标准化的数据格式和完整的时空覆盖，为构建选举预测模型和验证政治学理论提供了坚实基础。

实际应用

在实际应用层面，pt-elections数据集被广泛运于政策制定和选举管理优化。政府部门利用该数据集进行选区边界调整的模拟分析，媒体机构基于历史选举数据开发实时选举结果预测系统。政治咨询公司则通过挖掘数据集中的投票模式，为政党竞选策略提供数据驱动的决策支持，同时公民社会组织运用这些数据开展选举公正性监督和选民教育工作。

衍生相关工作

基于pt-elections数据集衍生的经典研究包括选举预测模型的构建与验证，其中时间序列分析方法被应用于政党支持率趋势预测。多项研究利用该数据集开发了选区重划算法优化方案，部分学者结合地理信息系统技术创建了葡萄牙选举地图可视化平台。这些衍生工作不仅拓展了数据集的学术价值，也为后续的选举制度改革研究提供了方法论借鉴。