bettergovph/dpwh-transparency-data

--- language: - en license: cc0-1.0 tags: - government - infrastructure - transparency - philippines - public-works - geospatial pretty_name: DPWH Infrastructure Transparency Dataset size_categories: - 1K<n<10K task_categories: - tabular-classification - tabular-regression configs: - config_name: default data_files: - split: train path: dpwh_transparency_data.parquet dataset_info: features: - name: contractId dtype: string - name: description dtype: string - name: category dtype: string - name: componentCategories dtype: string - name: status dtype: string - name: budget dtype: float64 - name: amountPaid dtype: int64 - name: progress dtype: float64 - name: contractor dtype: string - name: startDate dtype: string - name: completionDate dtype: string - name: infraYear dtype: string - name: programName dtype: string - name: sourceOfFunds dtype: string - name: isLive dtype: bool - name: livestreamUrl dtype: string - name: livestreamVideoId dtype: string - name: livestreamDetectedAt dtype: string - name: latitude dtype: float64 - name: longitude dtype: float64 - name: reportCount dtype: int64 - name: location_province dtype: string - name: location_region dtype: string config_name: default splits: - name: train num_bytes: 20785587 download_size: 20785587 dataset_size: 20785587 --- # DPWH Infrastructure Transparency Dataset ## Dataset Description This dataset contains comprehensive information about infrastructure projects from the Department of Public Works and Highways (DPWH) of the Philippines. The data is sourced from DPWH's transparency initiatives and includes detailed information about public works contracts, budgets, progress tracking, and geospatial data. ### Dataset Summary The DPWH Infrastructure Transparency Dataset provides detailed records of infrastructure projects including: - Contract and project identification - Project descriptions and categorization - Budget and financial tracking (budget allocation and amounts paid) - Project progress and status monitoring - Contractor information - Temporal data (start dates, completion dates, infrastructure year) - Funding sources and program details - Livestream monitoring capabilities for select projects - Geospatial coordinates (latitude/longitude) - Regional and provincial location information - Community engagement metrics (report counts) This dataset is valuable for: - Government transparency and accountability research - Infrastructure project analysis and monitoring - Budget allocation and spending pattern studies - Geospatial analysis of public works distribution - Contractor performance evaluation - Project timeline and completion analysis ### Supported Tasks - **Tabular Classification**: Predict project status, category, or completion likelihood - **Tabular Regression**: Predict project budgets, progress rates, or completion times - **Geospatial Analysis**: Map infrastructure distribution across Philippine regions - **Time Series Analysis**: Track project timelines and spending patterns ### Languages The dataset contains text primarily in English, with some project descriptions and location names in Filipino. ## Dataset Structure ### Data Fields - `contractId` (string): Unique identifier for the contract - `description` (string): Detailed description of the infrastructure project - `category` (string): Main category of the infrastructure project - `componentCategories` (string): Additional component categorizations - `status` (string): Current status of the project - `budget` (float64): Allocated budget for the project - `amountPaid` (int64): Amount paid to date - `progress` (float64): Project completion progress (0-100%) - `contractor` (string): Name of the contracting company - `startDate` (string): Project start date - `completionDate` (string): Scheduled or actual completion date - `infraYear` (string): Infrastructure fiscal year - `programName` (string): Associated government program - `sourceOfFunds` (string): Funding source(s) - `isLive` (bool): Whether project has livestream monitoring - `livestreamUrl` (string): URL to livestream if available - `livestreamVideoId` (string): Video identifier for livestream - `livestreamDetectedAt` (string): Timestamp of livestream detection - `latitude` (float64): Geographic latitude coordinate - `longitude` (float64): Geographic longitude coordinate - `reportCount` (int64): Number of reports or updates - `location_province` (string): Province where project is located - `location_region` (string): Administrative region ### Data Splits The dataset is provided as a single training split containing all available records. ## Dataset Creation ### Source Data This dataset aggregates data from the **DPWH Transparency Portal** (https://transparency.dpwh.gov.ph/), the official transparency platform of the Philippine Department of Public Works and Highways. #### Initial Data Source The original data is published by the Department of Public Works and Highways (DPWH) of the Philippines through their public transparency API: - **Base API**: `https://api.transparency.dpwh.gov.ph/projects` - **Contract Details API**: `https://api.transparency.dpwh.gov.ph/projects/{contractId}` #### Data Collection - **Collection Process**: Data was extracted using the [dpwh-transparency-data-api-scraper](https://github.com/csiiiv/dpwh-transparency-data-api-scraper) by [@csiiiv](https://github.com/csiiiv) - **Collection Methodology**: The scraper employed two approaches: - **Pagination-Based Extraction**: Concurrent threading to fetch bulk project listings across multiple pages - **Individual Contract Extraction**: Detailed retrieval for specific contracts using contract IDs - **Technical Implementation**: Uses curl-cffi with 70+ browser TLS fingerprints (Chrome, Firefox, Safari, Edge, Opera variants) to diversify request signatures, with intelligent retry logic and rate-limit detection - **Annotation Process**: Data is provided as-is from government sources - **Time Period**: Contains projects from various infrastructure years - **Rate Limiting**: The DPWH API enforces approximately 300 requests per 10 minutes; data collection respects these limits ### Personal and Sensitive Information The dataset contains information about government contractors and public infrastructure projects. All information is from public government transparency portals. No personal information about private citizens is included. ## Considerations for Using the Data ### Social Impact This dataset supports government transparency and accountability by making infrastructure project data accessible for analysis and monitoring. ## Additional Information ### Licensing This dataset is licensed under the [CC0 1.0 Universal](https://creativecommons.org/publicdomain/zero/1.0/) license. This means you can copy, modify, distribute and perform the work, even for commercial purposes, all without asking permission. ### Contributions Data sourced from the Philippine Department of Public Works and Highways (DPWH) [Transparency Portal](https://transparency.dpwh.gov.ph/). Dataset compiled and formatted for research and analysis purposes. Special thanks to [@csiiiv](https://github.com/csiiiv) for developing the [dpwh-transparency-data-api-scraper](https://github.com/csiiiv/dpwh-transparency-data-api-scraper) tool that enabled systematic data collection from the DPWH Transparency API.语言： - 英语 许可协议：CC0 1.0 标签： - 政府 - 基础设施 - 透明度 - 菲律宾 - 公共工程 - 地理空间（geospatial） 美观名称：DPWH基础设施透明度数据集 数据规模分类：1000<n<10000 任务类别： - 表格分类（tabular-classification） - 表格回归（tabular-regression） 配置项： - 配置名称：default 数据文件： - 拆分集：train 路径：dpwh_transparency_data.parquet 数据集信息： 特征字段： - 字段名：contractId，数据类型：字符串（string） - 字段名：description，数据类型：字符串（string） - 字段名：category，数据类型：字符串（string） - 字段名：componentCategories，数据类型：字符串（string） - 字段名：status，数据类型：字符串（string） - 字段名：budget，数据类型：64位浮点型（float64） - 字段名：amountPaid，数据类型：64位整型（int64） - 字段名：progress，数据类型：64位浮点型（float64） - 字段名：contractor，数据类型：字符串（string） - 字段名：startDate，数据类型：字符串（string） - 字段名：completionDate，数据类型：字符串（string） - 字段名：infraYear，数据类型：字符串（string） - 字段名：programName，数据类型：字符串（string） - 字段名：sourceOfFunds，数据类型：字符串（string） - 字段名：isLive，数据类型：布尔型（bool） - 字段名：livestreamUrl，数据类型：字符串（string） - 字段名：livestreamVideoId，数据类型：字符串（string） - 字段名：livestreamDetectedAt，数据类型：字符串（string） - 字段名：latitude，数据类型：64位浮点型（float64） - 字段名：longitude，数据类型：64位浮点型（float64） - 字段名：reportCount，数据类型：64位整型（int64） - 字段名：location_province，数据类型：字符串（string） - 字段名：location_region，数据类型：字符串（string） 配置名称：default 拆分集： - 拆分名称：train 数据字节数：20785587 下载大小：20785587 数据集总大小：20785587 # DPWH基础设施透明度数据集 ## 数据集说明 本数据集收录菲律宾公共工程与公路部（Department of Public Works and Highways, DPWH）的各类基础设施项目完整信息，数据源自DPWH的透明度公开举措，包含公共工程合同、预算、进度追踪及地理空间数据等详细内容。 ### 数据集概览 DPWH基础设施透明度数据集提供了基础设施项目的详细记录，涵盖： - 合同与项目标识信息 - 项目描述与分类信息 - 预算与财务追踪（含预算拨款及累计已支付金额） - 项目进度与状态监控 - 承包商信息 - 时间维度数据（开工日期、竣工日期、基础设施财政年度） - 资金来源与关联政府项目详情 - 部分项目的直播流（livestream）监控功能 - 地理空间坐标（geospatial coordinates，纬度/经度） - 区域与省级位置信息 - 社区参与度指标（报告数量） 本数据集可应用于以下研究与分析场景： - 政府透明度与问责制研究 - 基础设施项目分析与监控 - 预算拨款与支出模式研究 - 公共工程分布的地理空间分析 - 承包商绩效评估 - 项目时间线与竣工情况分析 ### 支持任务 - **表格分类（tabular-classification）**：预测项目状态、类别或竣工可能性 - **表格回归（tabular-regression）**：预测项目预算、进度率或竣工时长 - **地理空间分析（geospatial analysis）**：绘制菲律宾各行政区域的基础设施分布地图 - **时间序列分析**：追踪项目时间线与支出模式 ### 语言说明 本数据集文本主体为英语，部分项目描述及地点名称使用菲律宾语。 ## 数据集结构 ### 数据字段 - `contractId`（字符串）：合同唯一标识符 - `description`（字符串）：基础设施项目详细描述 - `category`（字符串）：基础设施项目主类别 - `componentCategories`（字符串）：附加组件分类 - `status`（字符串）：项目当前状态 - `budget`（64位浮点型）：项目分配预算 - `amountPaid`（64位整型）：累计已支付金额 - `progress`（64位浮点型）：项目竣工进度（0-100%） - `contractor`（字符串）：承包公司名称 - `startDate`（字符串）：项目开工日期 - `completionDate`（字符串）：计划或实际竣工日期 - `infraYear`（字符串）：基础设施财政年度 - `programName`（字符串）：关联政府项目名称 - `sourceOfFunds`（字符串）：资金来源 - `isLive`（布尔型）：项目是否启用直播监控 - `livestreamUrl`（字符串）：直播流地址（若可用） - `livestreamVideoId`（字符串）：直播流视频标识 - `livestreamDetectedAt`（字符串）：直播流检测时间戳 - `latitude`（64位浮点型）：地理纬度坐标 - `longitude`（64位浮点型）：地理经度坐标 - `reportCount`（64位整型）：报告或更新数量 - `location_province`（字符串）：项目所在省份 - `location_region`（字符串）：项目所在行政区域 ### 数据拆分 本数据集仅提供单个训练拆分，包含全部可用记录。 ## 数据集构建 ### 源数据 本数据集整合自菲律宾公共工程与公路部官方透明度平台**DPWH透明度门户（DPWH Transparency Portal）**（https://transparency.dpwh.gov.ph/）的数据。 #### 初始数据源 原始数据由菲律宾公共工程与公路部（DPWH）通过其公共透明度API发布： - **基础API**：`https://api.transparency.dpwh.gov.ph/projects` - **合同详情API**：`https://api.transparency.dpwh.gov.ph/projects/{contractId}` #### 数据采集 - **采集流程**：数据通过[@csiiiv](https://github.com/csiiiv)开发的[dpwh-transparency-data-api-scraper](https://github.com/csiiiv/dpwh-transparency-data-api-scraper)工具提取 - **采集方法**：该采集工具采用两种采集方式： 1. **基于分页的批量提取**：使用并发线程获取多页项目列表 2. **单合同详情提取**：通过合同ID精准获取特定合同的详细信息 - **技术实现**：使用curl-cffi库，搭载70余种浏览器TLS指纹（涵盖Chrome、Firefox、Safari、Edge、Opera等浏览器变体）以多样化请求签名，并配备智能重试机制与速率限制检测 - **标注流程**：数据直接沿用政府源数据格式，未进行额外标注 - **时间范围**：收录多个基础设施财政年度的项目数据 - **速率限制**：DPWH API设置约每10分钟300次请求的限制，数据采集过程严格遵守该限制 ### 个人与敏感信息说明 本数据集包含政府承包商及公共基础设施项目的相关信息，所有数据均源自公共政府透明度门户，未包含任何私人公民的个人信息。 ## 数据使用注意事项 ### 社会影响 本数据集通过开放基础设施项目数据以供分析与监控，助力政府透明度建设与问责机制完善。 ## 附加信息 ### 许可协议 本数据集采用[CC0 1.0 通用公共领域](https://creativecommons.org/publicdomain/zero/1.0/)许可协议，您可自由复制、修改、分发或使用该作品（包括商业用途），无需获得许可。 ### 贡献说明 数据源自菲律宾公共工程与公路部（DPWH）的[透明度门户](https://transparency.dpwh.gov.ph/)，本数据集为研究与分析目的进行了整理与格式化。 特别感谢[@csiiiv](https://github.com/csiiiv)开发[dpwh-transparency-data-api-scraper](https://github.com/csiiiv/dpwh-transparency-data-api-scraper)工具，实现了从DPWH透明度API的系统化数据采集。