IUTF Dataset(Enhanced): Enabling Cross-Border Resource for Analysing the Impact of Rainfall on Urban Transportation Systems

IUTF Dataset: A Cross-Border Resource for Analysing the Impact of Rainfall on Urban Transportation SystemsDescriptionThe Integrated Urban Traffic-Flood (IUTF) dataset is a comprehensive, open-access resource that addresses a critical gap in urban transportation and climate resilience research. This dataset uniquely integrates high-resolution traffic measurements, detailed precipitation data, and road network topology across 40 major cities spanning Europe, North America, and Asia.Dataset OverviewUnderstanding the impact of extreme weather, particularly rainfall, on urban transportation systems is essential for enhancing city resilience and traffic management. However, research has been hampered by the lack of datasets that comprehensively integrate detailed traffic dynamics, high-resolution weather information, and road network topology across multiple diverse urban environments.The IUTF dataset provides:<b>Traffic Data</b>: High-resolution measurements from 23627 sensors across 40 cities, with raw data at 5-minute intervals harmonized to hourly resolution<b>Precipitation Data</b>: Detailed hourly precipitation information from ERA5 reanalysis, spatially aligned with transportation infrastructure<b>Road Network Data</b>: Comprehensive topology information for over 1 million road segments processed from OpenStreetMap<b>Temporal Coverage</b>: Three years of data (2015-2017) providing 411,631 temporal observations per sensor<b>Spatial Coverage</b>: 40 diverse global cities across multiple continents and climate zonesKey Features<b>Unprecedented Scale and Integration</b>: The dataset covers 40 major cities with 23627 traffic sensors, providing the largest integrated traffic-weather dataset publicly available for urban resilience research.<b>Rigorous Harmonization Methodology</b>: All data components undergo comprehensive spatio-temporal harmonization using a novel framework that ensures consistent geographical representation and temporal alignment across diverse urban contexts.<b>Multi-Resolution Data Access</b>: Traffic measurements are provided in both original 5-minute resolution and hourly aggregations, enabling analyses at different temporal scales while maintaining alignment with meteorological data.<b>Cross-Continental Diversity</b>: Cities span multiple continents, climate zones, and urban morphologies, enabling robust comparative studies and generalization of findings across different urban contexts.<b>Quality Assurance</b>: Comprehensive technical validation demonstrates the dataset's integrity, sensitivity to rainfall impacts, and capability to reveal complex traffic-weather interaction patterns.Data StructureThe dataset is organized into four primary components:<b>Road Network Data</b>: Topological representations including spatial geometry, functional classification, and connectivity information<b>Traffic Sensor Data</b>: Sensor metadata, locations, and measurements at both 5-minute and hourly resolutions<b>Precipitation Data</b>: Hourly meteorological information with spatial grid cell metadata<b>Derived Analytical Matrices</b>: Pre-computed structures for advanced spatial-temporal modelling and network analysesFile Formats<b>Tabular Data</b>: Apache Parquet format for optimal compression and fast query performance<b>Numerical Matrices</b>: NumPy NPZ format for efficient scientific computing<b>Total Size</b>: Approximately 2 GB uncompressedApplicationsThe IUTF dataset enables diverse analytical applications including:<b>Traffic Flow Prediction</b>: Developing weather-aware traffic forecasting models<b>Infrastructure Planning</b>: Identifying vulnerable network components and prioritizing investments<b>Resilience Assessment</b>: Quantifying system recovery curves, robustness metrics, and adaptive capacity<b>Climate Adaptation</b>: Supporting evidence-based transportation planning under changing precipitation patterns<b>Emergency Management</b>: Improving response strategies for weather-related traffic disruptionsMethodologyThe dataset creation involved three main stages:<b>Data Collection</b>: Sourcing traffic data from UTD19, road networks from OpenStreetMap, and precipitation data from ERA5 reanalysis<b>Spatio-Temporal Harmonization</b>: Comprehensive integration using novel algorithms for spatial alignment and temporal synchronization<b>Quality Assurance</b>: Rigorous validation and technical verification across all cities and data componentsCode AvailabilityProcessing code is available at: https://github.com/viviRG2024/IUTDF_processing

# IUTF数据集：分析降雨对城市交通系统影响的跨区域研究资源

## 数据集说明
集成城市交通-洪水（Integrated Urban Traffic-Flood, IUTF）数据集是一套全面的开放获取资源，填补了城市交通与气候韧性研究中的关键空白。本数据集独具特色地整合了高分辨率交通监测数据、精细化降水资料以及横跨欧洲、北美与亚洲40座主要城市的道路网络拓扑结构。

## 数据集概览
明晰极端天气（尤以降雨为甚）对城市交通系统的影响，对提升城市韧性与交通管理水平至关重要。然而，当前研究因缺乏可在多类多样化城市环境中全面整合精细化交通动态、高分辨率气象信息与道路网络拓扑的数据集而受阻。

IUTF数据集包含以下内容：
- **交通数据**：来自40座城市的23627个监测传感器的高分辨率数据，原始5分钟间隔数据已统一校准为小时级分辨率。
- **降水数据**：源自ERA5再分析数据的精细化小时级降水信息，已与交通基础设施实现空间对齐。
- **道路网络数据**：从开放街道地图（OpenStreetMap）中提取并处理得到的超100万个道路路段的完整拓扑信息。
- **时间覆盖范围**：涵盖2015年至2017年共三年的数据，每个传感器可获取411631条时间观测记录。
- **空间覆盖范围**：横跨多个大洲与气候带的40座多样化全球城市。

## 核心特性
1. **前所未有的规模与整合度**：本数据集覆盖40座城市与23627个交通传感器，是目前公开可用的规模最大的集成交通-气象数据集，可用于城市韧性研究。
2. **严谨的统一校准方法**：所有数据组件均通过一套全新框架开展全面的时空统一校准，确保在多样化城市场景中实现一致的地理表征与时间对齐。
3. **多分辨率数据访问**：交通监测数据同时提供原始5分钟分辨率与小时级聚合数据，支持不同时间尺度的分析，同时可与气象数据保持对齐。
4. **跨区域多样性**：城市分布覆盖多个大洲、气候带与城市形态，可开展可靠的比较研究，并将研究结论推广至不同城市场景。
5. **质量保障**：全面的技术验证证实了本数据集的完整性、对降雨影响的敏感性，以及揭示复杂交通-气象交互模式的能力。

## 数据结构
本数据集分为四个核心组成部分：
- **道路网络数据**：包含空间几何信息、功能分类与连通性信息的拓扑表征。
- **交通传感器数据**：传感器元数据、位置信息，以及5分钟与小时级分辨率的监测数据。
- **降水数据**：带有空间网格元数据的小时级气象信息。
- **衍生分析矩阵**：预先计算得到的结构，可用于高级时空建模与网络分析。

## 文件格式
- **表格数据**：采用Apache Parquet格式，实现最优压缩与快速查询性能。
- **数值矩阵**：采用NumPy NPZ格式，适配高效科学计算。
- **总大小**：未压缩状态下约2GB。

## 应用场景
IUTF数据集可支持多样化的分析应用，包括：
- **交通流预测**：开发具备气象感知能力的交通预测模型。
- **基础设施规划**：识别易受影响的网络组件并优先安排投资。
- **韧性评估**：量化系统恢复曲线、鲁棒性指标与自适应能力。
- **气候适应**：为降水模式变化背景下的循证交通规划提供支撑。
- **应急管理**：优化针对气象相关交通中断的响应策略。

## 构建方法
本数据集的创建包含三个主要阶段：
- **数据采集**：从UTD19获取交通数据，从开放街道地图（OpenStreetMap）获取道路网络数据，从ERA5再分析数据获取降水数据。
- **时空统一校准**：通过全新算法开展空间对齐与时间同步，实现全面整合。
- **质量保障**：对所有城市与数据组件开展严格的验证与技术核查。

## 代码获取
处理代码可通过以下链接获取：https://github.com/viviRG2024/IUTDF_processing

搜集汇总

背景与挑战

背景概述

IUTF数据集是一个开放访问的综合资源，集成了高分辨率交通测量、详细降水数据和道路网络拓扑，覆盖40个全球主要城市，用于研究降雨对城市交通系统的影响。该数据集具有前所未有的规模、严格的协调方法和多分辨率数据访问特点，适用于交通流量预测、基础设施规划和气候适应等应用。