NUS-UAL/global-streetscapes

Global Streetscapes数据集是一个包含1000万张街景图像的综合性数据集，覆盖了全球688个城市。该数据集由新加坡国立大学城市分析实验室（UAL）创建，旨在为城市科学和分析提供支持。数据集分为表格部分和图像部分，表格部分包括21个CSV文件，每个文件包含1000万行数据，描述了346个特征。此外，数据集还包含手动标注的训练和测试数据，用于训练计算机视觉模型，以及训练好的模型文件。数据集的总大小为62 GB，图像部分约为6 TB。

The Global Streetscapes dataset, created by the Urban Analytics Lab (UAL) at the National University of Singapore, contains 10 million street-level images across 688 cities. The dataset is divided into several parts: the `data/` directory contains 21 CSV files, each with 10 million rows and a total of 346 features; the `manual_labels/` directory contains manual labels for training and testing computer vision models; the `models/` directory contains trained models; `cities688.csv` contains basic information for the 688 cities; `info.csv` provides an overview of each CSV files content and explains the 346 features. The total size of the dataset is approximately 62GB, with the imagery portion being about 6TB.

原始信息汇总

Global Streetscapes 数据集概述

基本信息

• 许可证: CC BY-SA 4.0
• 任务类别:
  • 图像分类
  • 图像分割
  • 图像特征提取
• 语言: 英语
• 标签:
  • 街景图像
  • 开放数据
  • 数据融合
  • 城市分析
  • GeoAI
  • 志愿者地理信息
  • 机器学习
  • 空间数据基础设施
• 数据规模: 1M < n < 10M

数据集内容

• 总大小: 约 62 GB
• 数据目录:
  • data/ (37 GB)
    • 包含 21 个 CSV 文件，总计 346 个特征，每文件 1000 万行，用于描述 1000 万张街景图像。
  • manual_labels/ (23 GB)
    • train/
      • 包含 8 个 CSV 文件，用于训练计算机视觉模型，分类 8 种不同的街景图像上下文特征，以及其他元数据（如图像位置、城市、文件路径等）。
    • test/
      • 包含 8 个 CSV 文件，用于模型测试，以及其他元数据（如图像位置、城市、文件路径等）。
    • img/
      • 包含 7 个 tar.gz 文件，包含所有用于训练和测试的图像。
  • models/ (2.8 GB)
    • 包含 8 个 ckpt 文件，存储训练好的模型。
• 其他文件:
  • cities688.csv: 包含 688 个城市的基本信息，如人口、大陆、图像数量等。
  • info.csv: 概述 /data 目录中每个 CSV 文件的内容，并解释 346 个特征。

引用

• 论文:
  • Hou Y, Quintana M, Khomiakov M, Yap W, Ouyang J, Ito K, Wang Z, Zhao T, Biljecki F (2024): Global Streetscapes — A comprehensive dataset of 10 million street-level images across 688 cities for urban science and analytics. ISPRS Journal of Photogrammetry and Remote Sensing 215: 216-238. doi:10.1016/j.isprsjprs.2024.06.023
• BibTeX: bibtex @article{2024_global_streetscapes, author = {Hou, Yujun and Quintana, Matias and Khomiakov, Maxim and Yap, Winston and Ouyang, Jiani and Ito, Koichi and Wang, Zeyu and Zhao, Tianhong and Biljecki, Filip}, doi = {10.1016/j.isprsjprs.2024.06.023}, journal = {ISPRS Journal of Photogrammetry and Remote Sensing}, pages = {216-238}, title = {Global Streetscapes -- A comprehensive dataset of 10 million street-level images across 688 cities for urban science and analytics}, volume = {215}, year = {2024} }

搜集汇总

数据集介绍

构建方式

NUS-UAL/global-streetscapes数据集由新加坡国立大学城市分析实验室（Urban Analytics Lab, UAL）构建，旨在为城市科学和城市分析提供全面的数据资源。该数据集通过整合来自全球688个城市的街景图像，并结合地理信息系统（GIS）以及众包地理信息，形成了包含丰富属性特征的数据集。数据集包含了346个独特特征，每个CSV文件拥有约1000万行数据，同时提供Parquet格式文件以优化大数据处理效率。

特点

该数据集的特点在于其全球覆盖范围广泛，包含丰富的街景图像以及与之相关的多种城市属性信息。数据集不仅提供了街景图像，还包含了手动标注的上下文属性，以及城市的基本信息如人口、大陆分布和图像数量等。此外，数据集采用了开放数据许可（CC BY-SA 4.0），支持数据的共享与再利用，适用于图像分类、图像分割和图像特征提取等任务。

使用方法

使用NUS-UAL/global-streetscapes数据集时，用户可遵循Hugging Face提供的指南进行数据下载。针对特定数据文件夹的下载，可以使用提供的`download_folder.py`脚本。对于图像部分的下载，用户需参考GitHub仓库中的代码和文档，以及Wiki页面提供的过滤和下载指导。此外，数据集的使用和引用需遵循项目网站和论文中的指导原则。

背景与挑战

背景概述

在当代城市科学和地理空间分析领域，图像数据集对于推动算法研究和应用具有重要意义。Global Streetscapes数据集，由新加坡国立大学城市分析实验室（UAL）创建于2024年，旨在为城市科学和地理空间分析提供一个全面的数据资源。该数据集汇集了来自全球688个城市共1000万张街道级图像，包含了346个独特的特征，为研究人员提供了一个深入理解城市环境和人类活动模式的重要工具。数据集的核心研究问题是如何利用大规模图像数据来分析和建模城市环境，对相关领域产生了深远的影响。

当前挑战

Global Streetscapes数据集在构建过程中面临的挑战包括数据融合、地理空间信息的准确标注以及大规模数据的高效处理。领域问题方面的挑战主要在于如何通过图像分类、图像分割和图像特征提取等技术，精确识别和解析城市街道的复杂属性和模式。此外，数据集的规模和复杂性对存储、访问和计算资源提出了更高的要求，这些都是在研究和应用该数据集时必须克服的技术障碍。

常用场景

经典使用场景

在深入探索城市科学和地理空间分析领域时，NUS-UAL/global-streetscapes数据集以其全面的街景图像和丰富的属性信息，成为研究者的首选工具。该数据集的经典使用场景主要集中于图像分类、图像分割以及图像特征提取任务，旨在通过对全球688个城市街景的细致分析，提取出城市环境的深层次特征，为城市规划和环境监测提供数据支持。

衍生相关工作

NUS-UAL/global-streetscapes数据集的发布促进了众多相关工作的开展，包括但不限于城市景观分类算法的研究、街景图像中人类活动模式的识别、以及基于街景的地理信息提取技术。这些衍生工作不仅推动了城市科学领域的发展，也为智慧城市建设提供了关键技术支撑。

数据集最近研究

最新研究方向

在当前的城市科学和地理空间分析领域，NUS-UAL/global-streetscapes数据集以其覆盖688个城市、包含千万级别街景图像的庞大体量，成为研究的热点。该数据集不仅提供了丰富的图像分类、图像分割和图像特征提取任务所需的资源，而且通过数据融合技术，为城市分析和GeoAI领域带来了新的研究视角。近期研究主要聚焦于如何利用此数据集进行大规模的城市环境理解，包括但不限于城市景观的自动标注、城市变化的监测以及城市规划的优化。这些研究对于推动智慧城市建设、实现城市可持续发展具有重要的理论与实践意义。