CityRep

CityRep是由伦敦大学学院和武汉大学联合构建的综合性城市表征学习基准数据集，旨在系统评估异构城市表征模型在跨城市、跨模态和跨任务场景下的泛化能力。该数据集涵盖8个不同城市，包含土地利用分类、道路密度回归、人口回归、年龄分布预测、国内生产总值回归、夜间灯光回归、PM2.5回归和地表温度回归共八项下游任务，数据来源整合了OpenStreetMap、WorldPop、VIIRS夜间灯光、MODIS地表温度等多源地理空间数据。数据集通过标准化的空间对齐模块将不同空间支持的表征统一映射到任务单元，并采用基于空间块的结构化分割策略以缓解空间泄漏问题，确保评估的严谨性。该基准主要应用于城市表征学习和城市基础模型研究领域，致力于解决现有评估方法在城市覆盖范围、任务多样性及空间依赖性方面的局限性，为公平比较模型性能提供标准化框架。CityRep is a comprehensive urban representation learning benchmark dataset jointly constructed by University College London and Wuhan University, which aims to systematically evaluate the generalization capabilities of heterogeneous urban representation models across cross-city, cross-modal and cross-task scenarios. The dataset covers 8 distinct cities and includes a total of 8 downstream tasks: land use classification, road density regression, population regression, age distribution prediction, gross domestic product (GDP) regression, nighttime light brightness regression, PM2.5 concentration regression, and land surface temperature regression. Its data sources integrate multi-source geospatial data such as OpenStreetMap, WorldPop, VIIRS nighttime light products, and MODIS land surface temperature products. The dataset adopts a standardized spatial alignment module to uniformly map representations with different spatial supports to task units, and employs a spatial block-based structured segmentation strategy to alleviate spatial leakage issues, thus ensuring the rigor of the evaluation. This benchmark is primarily applied in the fields of urban representation learning and urban foundation model research, aiming to address the limitations of existing evaluation methods in terms of urban coverage, task diversity and spatial dependence, and provide a standardized framework for the fair comparison of model performance.

原始信息汇总

CityRep 数据集概述

CityRep 是一个基于注册表的城市表征基准，用于评估跨城市、任务和嵌入格式的城市表征。该基准涵盖 8 个城市、8 个下游任务和 11 种表征基线。

• 数据集主页: https://github.com/inwind0212/CityRep
• 数据分发: 处理后的数据通过 Kaggle 分别发布：
  • 下游任务数据: 任务样本表、标签栅格、任务元数据和注册表。
  • 模型制品数据: AETHER, AlphaEarth, TESSERA, CityFM, CaLLiPer, Space2Vec, Place2Vec, Urban2Vec, MuseCL, SatCLIP 和 PE 等模型的嵌入导出。

核心特性

• 基准城市: 包含了针对 8 个城市的评估。
• 下游任务: 包含 8 个任务：landuse、road_density、population、age_distribution、gdp、nightlight、pm25 和 lst_day_mean。
• 评估协议:
  • 空间分割: spatial-block，主要论文使用此协议。
  • 随机分割: random-split，用于诊断性对比。
• 主要指标:
  • 土地利用（landuse）：宏平均 F1 分数。
  • 年龄分布（age_distribution）：KL 散度。
  • 回归任务（如人口、GDP 等）：R² 值。
• 嵌入格式支持: 支持三种嵌入输入格式：
  • 栅格嵌入 (Raster embeddings): GeoTIFF 格式，通常为多波段。
  • 区域嵌入 (Region embeddings): CSV/Parquet/Feather 表格格式，每行一个区域。
  • 实体嵌入 (Entity embeddings): CSV/Parquet/Feather 表格格式，包含点坐标和嵌入列。

数据集结构

代码仓库与数据分离。数据通过 download.sh all 或单独使用 ./download.sh tasks 和 ./download.sh model-artifacts 命令从 Kaggle 下载。下载后，数据会放置在以下路径：

• data/tasks/<task_id>/: 下游任务数据。
• baselines/artifacts/<model>/<city>/: 模型嵌入数据。

代码仓库本身包含注册表、配置、总结结果和笔记本。代码仓库中的关键文件包括：

• urban_benchmark/: Python 包和命令行接口 (CLI)。
• configs/release/protocols.json: 空间块和随机分割评估协议。
• data/tasks.json: 基准任务注册表。
• data/registry/tasks.csv: 任务注册表的 CSV 格式。
• data/registry/appendix26_global_tasks.csv: 26 城遥感扩展的可选注册表。
• baselines/registry/embedding_manifest.csv: 标准基准嵌入清单文件。
• results/: CSV 总结和图表。
• notebooks/: 用于生成论文表格、图表和审计的 7 个最终笔记本。

使用流程

1. 环境安装: 使用 environment.yml 创建 Conda 环境并安装包。
2. 数据下载: 配置 Kaggle 凭证后，运行 ./download.sh all 下载数据。
3. 审计: 使用 python -m urban_benchmark audit 命令检查注册表与下载路径的一致性。
4. 重现基准:
   • 空间分割: 使用 python -m urban_benchmark evaluate 命令并指定 --protocol block10_5seed_mlp1024。
   • 随机分割: 使用 python -m urban_benchmark evaluate 命令并指定 --protocol random_5seed_mlp1024。
5. 评估新模型: 主要通过 python -m urban_benchmark run-model 命令，需要指定城市、任务、嵌入类型、嵌入路径和评估协议。
6. 扩展新城市或任务: 使用 python -m urban_benchmark extend-city 命令，并提供原始栅格或样本表格以及任务清单。

搜集汇总

数据集介绍

构建方式

CityRep的构建始于对八座分布于全球不同发展水平城市的多模态数据采集，涵盖遥感影像、街景图片、兴趣点、路网及地理坐标。针对下游任务，数据集从形态学、人口学、经济学与环境学四大维度定义了八项预测任务，包括土地利用分类、路网密度回归、人口与年龄分布预测、国内生产总值与夜间灯光强度回归、以及PM2.5与地表温度反演。各类原始数据通过空间单元对齐模块被统一映射至标准化的任务单元上，形成了一套可适配异构城市表征的评估框架。为避免空间信息泄露导致绩效膨胀，该数据集采用了基于空间分块的划分策略，即将城市区域切割为不相交的区块，再将区块而非单个样本分配至训练集、验证集与测试集，从而确保模型在未见区域上的泛化性能得到真实反映。

特点

CityRep的核心特点在于其统一性、异质性兼容性与空间严谨性。作为首个横跨多种数据模态、城市与任务的城市表征评估基准，它克服了以往研究仅局限于单一城市或少数任务的局限性，提供了涵盖回归、分类与分布预测的多种评估视角。基准内置的空间单元对齐模块允许基于栅格、区域、实体或坐标的异构表征在同一接口下进行公平比较。尤为关键的是，该数据集通过引入基于空间区块的划分协议，系统性地揭示了随机划分对模型排名的扭曲效应，证实了空间连续性在评估中的不可忽视性。此外，CityRep提供了丰富的诊断工具与可复现的评估流水线，涵盖十一类代表性模型在大规模多城市、多任务场景下的详尽实验结果。

使用方法

使用者可通过开源代码仓库直接访问CityRep的完整数据资产与评估管线。对于待评估的城市表征模型，首先需根据其原生空间类型（栅格、区域、实体或坐标）选择对应的空间对齐策略，将其特征向量映射至下游任务的空间单元上。随后，在统一的多层感知机预测架构下，针对每座城市与每项任务执行空间分块划分下的五次随机种子训练与测试。评估结果以R²、宏平均F1、KL散度等任务适配指标呈现，并通过跨城市均值与标准差、以及城市级别排名等汇总方式，全面衡量表征的通用性与迁移能力。使用者亦可利用基准提供的诊断工具，分析模型在不同城市、任务与划分协议下的敏感性差异。

背景与挑战

背景概述

CityRep基准数据集由伦敦大学学院SpaceTimeLab的刘俊源、王星磊等研究人员于2026年创建，旨在解决城市表示学习评估中普遍存在的碎片化与不一致性问题。当前该领域的研究通常局限于单一或两座城市、少量任务，并采用随机构建训练-测试划分方式，导致空间信息泄漏与模型泛化性能被高估。CityRep通过整合包括伦敦、纽约、新加坡、悉尼等在内的八座城市，覆盖形态、人口、经济与环境四个城市维度，并设计了土地利用分类、人口回归、PM2.5浓度预测等八项任务，为跨城市、跨模态的通用城市嵌入模型提供了统一的性能评估基准，有力推动了城市基础模型研究的发展。

当前挑战

CityRep数据集所应对的核心挑战在于现有评估范式无法准确衡量城市表示的真实泛化能力。一方面，传统随机划分方法忽视样本间强烈的空间自相关性，使模型在空间邻近区域间的插值能力被误判为对于未观测区域的有效迁移，导致性能虚高及模型排序失真。另一方面，异构的城市表示方法（如基于栅格、区域、实体或坐标的嵌入）在空间支撑单元上差异巨大，缺乏标准化的对齐机制，难以在多座城市、多种任务下进行公平比较。此外，研究团队在构建过程中面临来自不同城市管理机构的土地用途分类体系不统一、部分城市公开数据源覆盖不完整等数据异构适配挑战，需通过人工审查与LLM辅助映射进行语义归并，并引入基于H3网格的中间聚合策略以缓解稀疏实体表示带来的特征缺失问题。

常用场景

经典使用场景

CityRep基准数据集的核心用途在于为城市表征学习提供一个统一的、可扩展的评估平台，旨在衡量不同城市嵌入模型在异构空间单元、多种数据模态以及跨城市场景下的泛化能力。通过整合包含形态学、人口统计学、经济学与环境学四大维度的八项下游任务，该数据集允许研究者系统性地评估从遥感影像、街景图像、兴趣点、路网乃至纯坐标编码中学习到的表征质量。其独特之处在于引入了基于空间分块的严格划分协议，有效避免了传统随机划分带来的空间数据泄漏问题，从而能够真实反映模型在陌生区域上的预测性能。因此，CityRep不仅是模型排名的竞技场，更成为推动城市通用表征迈向基础模型进程中的关键验证工具。

衍生相关工作

本数据集作为城市表征学习评估的标杆，直接催生并检验了一系列经典与前沿工作。基准中纳入的11个代表性模型，从早期依赖位置编码与POI共现模式的Place2Vec、Space2Vec，到融合多模态信息的Urban2Vec与MuseCL，再到大规模预训练的遥感基础模型如AlphaEarth和TESSERA，均在其统一框架下得到了公正而深刻的剖析。特别是AETHER模型，通过引入POI引导的语义对齐，进一步增强了遥感嵌入的城市化语义，其表现凸显了多模态融合的巨大潜力。此外，CityRep的空间划分思想与对齐策略也为后续如MoRA等基于移动性表征的人本导向模型评估提供了可复用的技术范式，推动了整个领域向更严谨、更全面的方向发展。

数据集最近研究

最新研究方向

城市表征学习正从单一城市、单一任务与随机数据划分的评估范式迈向多城市、多模态、多任务统一基准与空间结构化评估的前沿。CityRep基准应运而生，它整合了形态、人口、经济与环境四大城市维度的八项预测任务，跨越伦敦、纽约等八座全球城市，并创新性地采用空间分块策略以缓解传统随机划分带来的空间泄漏与性能虚高。通过系统对比十一种代表性模型，研究发现大规模遥感预训练嵌入在跨城市泛化中表现卓越，而模型性能高度依赖于城市语境与任务属性，单一城市的评估结论无法全面表征模型稳健性。这一基准不仅为城市基础模型的公平比较与可复现研究提供了标准化平台，也推动了该领域向关注空间泛化能力与多模态融合的前沿方向演进。

相关研究论文

• CITYREP: A Unified Benchmark for Urban Representations Across Cities, Tasks, and Modalities

  伦敦大学学院·时空实验室; 伦敦大学学院·3DIMPact; 武汉大学·资源与环境科学学院; 武汉大学·测绘遥感信息工程国家重点实验室 · 2026年