SurfaceAI

SurfaceAI是由柏林应用科技大学开发的一个用于生成道路表面类型和质量的综合地理参考数据集的管道。该数据集利用Mapillary平台提供的开放街道级图像，通过深度学习模型预测道路表面的类型和质量，并将其聚合为整个道路段的综合信息。数据集包含约9122张手动标注的Mapillary图像，涵盖了多种道路表面类型和质量等级。创建过程包括图像分类模型的训练和聚合算法的开发，旨在为基础设施建模和分析提供详细的道路表面数据，特别是在提高交通参与者的安全性和舒适性方面。

SurfaceAI is a pipeline developed by Berlin University of Applied Sciences and Technology for generating comprehensive georeferenced datasets of road surface types and qualities. This dataset utilizes open street-level imagery provided by the Mapillary platform, employs deep learning models to predict road surface types and qualities, and aggregates the predictions into comprehensive information for entire road segments. The dataset contains approximately 9,122 manually annotated Mapillary images, covering a wide range of road surface types and quality grades. Its development process includes the training of image classification models and the development of aggregation algorithms, aiming to provide detailed road surface data for infrastructure modeling and analysis, particularly to enhance the safety and comfort of road users.

原始信息汇总

SurfaceAI: 道路网络表面类型和质量分类管道

概述

• 项目名称: SurfaceAI
• 项目描述: 提供用于道路网络表面类型和质量分类的管道代码。

数据集

• 数据类型: 道路网络数据
• 数据来源:
  • 默认使用OpenStreetMap (OSM) 数据，以 .pbf 文件格式提供。
  • 支持自定义道路网络数据，需提供包含LINESTRINGs的PostGIS数据库表。
• 数据处理:
  • 创建20米长的道路子段。
  • 匹配图像到最近的道路，最大距离为10米。
  • 从Mapillary下载相关图像。

分类模型

• 分类类型:
  • 道路场景分类
  • 表面类型分类
  • 表面质量分类
• 模型集成: 当前分类模型尚未集成到管道中。

聚合算法

• 聚合步骤:
  • 在20米子段上聚合图像，仅使用不在其他道路附近或道路场景分类匹配的图像。
  • 表面类型：多数投票。
  • 表面质量：平均值。
  • 在道路段上聚合所有子段。
  • 表面类型：多数投票（如果平局，使用图像数量）。
  • 表面质量：平均值。
• 附加属性:
  • 最小和最大捕获日期
  • 图像数量
  • 表面类型置信度分数

使用说明

• 环境设置:
  • 安装 postgresql, postgis, osmosis。
  • 创建并激活 surfaceai 环境。
  • 安装依赖项。
• 运行管道:
  • 通过运行 python src/pipeline.py CONFIG_NAME 启动管道。

其他

• 模型管道示意图: 参见 img/model_pipeline.png。
• 分类模型: 参见 SurfaceAI/classification_models。

搜集汇总

数据集介绍

构建方式

SurfaceAI数据集的构建基于开放的街景图像，通过自动化流程生成包含道路表面类型和质量的全面地理参考数据集。该数据集利用Mapillary平台提供的众包街景图像，训练深度学习模型以预测道路表面的类型和质量。这些图像随后被聚合，以提供整个道路段的综合信息。具体而言，数据集的构建包括图像采集、分类模型训练和聚合算法设计，确保了数据集的全面性和准确性。

特点

SurfaceAI数据集的主要特点在于其基于开放数据和众包图像的构建方式，这使得数据集具有高度的多样性和广泛的地理覆盖。此外，数据集采用了精细的分类方案和优化后的模型架构，提高了道路表面类型和质量预测的准确性。数据集还具备与OpenStreetMap等地理数据库的良好兼容性，便于集成和扩展。

使用方法

SurfaceAI数据集可用于基础设施建模和分析，特别是对于需要详细道路表面数据的应用场景，如交通安全和舒适度评估。用户可以通过定义感兴趣的地理边界，利用数据集提供的分类和质量信息，进行道路网络的详细分析。此外，数据集的开源代码和API接口使得用户能够方便地集成和扩展数据集，以满足特定的研究和应用需求。

背景与挑战

背景概述

SurfaceAI数据集由柏林应用科技大学（HTW Berlin）的Alexandra Kapp、Edith Hoffmann、Esther Weigmann和Helena Mihaljević于2024年创建，旨在通过公开的街景图像自动生成全面的地理参考道路表面类型和质量数据集。该数据集的创建源于道路不平对交通参与者，尤其是弱势道路使用者的安全与舒适性的显著影响，强调了在基础设施建模和分析中详细道路表面数据的必要性。SurfaceAI通过利用众包的Mapillary数据训练模型，预测街景图像中可见的道路表面类型和质量，并将这些信息聚合以提供整个道路段条件的连贯信息，填补了现有数据源的空白。

当前挑战

SurfaceAI数据集在构建过程中面临多个挑战。首先，依赖于众包平台Mapillary的图像数据，其覆盖范围和图像质量在不同地区存在显著差异，可能导致数据偏差。其次，尽管OpenStreetMap提供了表面类型和质量的标签，但数据依赖于志愿者的贡献，导致数据完整性不足。例如，截至2024年8月，德国仅有8.6%的道路段被标记了质量信息。此外，模型在不同地理区域的泛化能力有限，特别是在快速变化的道路网络中，图像的时间对齐问题也增加了挑战。最后，当前的聚合算法在处理道路表面质量时仅采用简单的平均方法，未能充分考虑不同质量对整体评级的复杂影响，这需要在未来的研究中进一步优化。

常用场景

经典使用场景

SurfaceAI数据集的经典使用场景在于其能够自动化生成基于开放街道级图像的连贯道路表面质量数据集。通过利用Mapillary平台上的众包数据，该数据集能够训练模型以预测道路表面的类型和质量，从而为整个道路网络提供详细的信息。这种能力在基础设施建模和分析中尤为重要，特别是在评估道路不平整对交通参与者，尤其是弱势道路使用者的安全性和舒适性的影响时。

解决学术问题

SurfaceAI数据集解决了学术研究中关于道路表面类型和质量数据缺乏的常见问题。传统上，OpenStreetMap等数据源依赖于志愿者贡献，导致数据覆盖不均和质量信息缺失。该数据集通过深度学习模型，从街道级图像中提取并聚合道路表面信息，填补了这一空白，为道路基础设施的分析和改进提供了可靠的数据支持，具有重要的学术意义和影响。

衍生相关工作

SurfaceAI数据集的推出催生了一系列相关研究和工作。例如，基于该数据集的深度学习模型已被用于开发更精确的道路表面分类和质量评估算法。此外，研究人员还利用该数据集进行跨区域的道路网络分析，探索不同地理和环境条件下的道路表面特征。这些衍生工作不仅扩展了数据集的应用范围，还推动了相关领域的技术进步和创新。