ThaiRAP

ThaiRAP数据集由伦敦大学学院土木、环境和测绘工程系创建，用于支持道路安全评估研究。该数据集包含2037张图像，覆盖泰国多个省份的519个道路段，每段使用1-4张图像进行编码。数据集的创建遵循iRAP标准，涉及52个道路属性分类。该数据集旨在通过视觉语言模型优化道路安全评估，特别是在资源有限的地区，提供一种成本效益高且自动化的全球道路安全评估方法。

The ThaiRAP dataset was developed by the Department of Civil, Environmental and Geomatic Engineering, University College London, to support road safety assessment research. It comprises 2037 images covering 519 road segments across multiple provinces in Thailand, with each segment encoded using 1 to 4 images. The dataset was constructed in accordance with iRAP standards and covers 52 road attribute categories. This dataset is intended to optimize road safety assessment through vision-language models, especially in resource-constrained regions, by providing a cost-effective and automated approach to global road safety evaluation.

搜集汇总

数据集介绍

构建方式

ThaiRAP数据集的构建基于泰国的道路评估数据，包含了2037张图像，涵盖了519个道路段，每段道路使用1-4张图像进行编码。数据集包含了52个属性，这些属性是根据国际道路评估项目（iRAP）的标准进行分类的。数据预处理阶段，数据集被分为训练集、测试集、验证集和未见过数据集，以确保在各个子集之间保持平衡的分布。数据预处理还包括对数据不平衡问题的处理，通过生成带有噪声的数据并添加到训练集中来缓解这个问题。

特点

ThaiRAP数据集的特点在于它包含了详细的道路属性信息，这些信息是根据iRAP标准进行分类的。数据集的构建使得研究人员能够评估和比较视觉语言模型（VLMs）与传统计算机视觉模型（如ResNet和VGG）在道路属性检测任务中的性能。此外，数据集还展示了VLMs在处理未见过的数据集时的性能，这表明VLMs具有很好的泛化能力。

使用方法

使用ThaiRAP数据集的方法包括将图像输入到V-RoAst框架中，并使用文本提示和图像提示来生成对图像52个属性的回答。该框架设计简单，易于在任何城市应用，且不需要数据科学专业知识和编码经验。此外，该框架还可以利用VLMs的视觉问答（VQA）能力，允许地方当局通过直观地调整提示来改进模型，从而提高模型的准确性。

背景与挑战

背景概述

在低中收入国家（LMICs），道路交通事故是导致死亡的主要原因，且死亡率远高于高收入国家（HICs）。为了改善这一状况，联合国（UN）提出了目标，即所有新建道路都应达到至少3星级的安全评级，并根据国际道路评估项目（iRAP）标准对所有道路用户进行评级。然而，由于成本高昂，目前仅有高速公路进行了评级。为了解决这个问题，研究人员提出了一个新的任务，即视觉问答式道路评估（V-RoAst），并引入了一个名为ThaiRAP的真实世界数据集。该数据集包含来自曼谷、帕农、帕农和帕农等地的2037张图像，用于评估道路安全水平。

当前挑战

ThaiRAP数据集面临的挑战包括：1）解决道路安全评估领域的挑战，即如何利用视觉语言模型（VLMs）进行道路安全评估，克服传统卷积神经网络（CNNs）的局限性；2）构建数据集时遇到的挑战，如如何获取和处理大量真实世界图像数据，以及如何解决数据集中存在的类别不平衡问题。此外，VLMs在处理具有空间特性的属性时，表现相对较弱，这也是一个需要解决的挑战。

常用场景

经典使用场景

ThaiRAP数据集主要用于视觉道路评估，通过使用视觉语言模型（VLMs）进行道路安全评估，克服了传统卷积神经网络（CNNs）的局限性。该数据集结合了来自Mapillary的众包图像，提供了一种可扩展的解决方案，能够有效地估计道路安全水平。此外，该数据集的设计旨在服务于缺乏资源的当地利益相关者，因为它不需要训练数据，从而提供了一种经济高效和自动化的全球道路安全评估方法。

衍生相关工作

ThaiRAP数据集衍生了多个相关的研究工作。首先，它促进了VLMs在道路安全评估任务中的应用，并为评估VLMs的性能提供了一个实际的应用场景。其次，该数据集推动了道路安全评估中的零样本学习和泛化能力的研究。此外，该数据集还促进了与其他道路安全评估方法（如CNNs）的比较研究，以探索更有效的道路安全评估方法。

数据集最近研究

最新研究方向

随着交通安全的日益重视，特别是低收入和中等收入国家（LMICs）中道路交通事故频发，ThaiRAP数据集的提出为视觉语言模型（VLMs）在道路安全评估中的应用开辟了新途径。该数据集通过引入V-RoAst任务，优化了提示工程，并评估了先进的VLMs，如Gemini-1.5-flash和GPT-4o-mini，在道路评估属性方面的有效性。研究结果表明，VLMs在处理不具明显空间特征的属性或与显眼对象的存在或缺失相关的属性时表现出色。此外，ThaiRAP数据集使用众包图像数据，如Mapillary，以可扩展的方式估计道路安全等级，为当地利益相关者提供了无需培训数据的成本效益高、自动化的全球道路安全评估方法。未来研究方向包括微调VLMs以提高其在不同国家环境中的鲁棒性和多功能性，以及探索将远程感知图像和地理信息数据等其他模态应用于道路评估。

相关研究论文

• V-RoAst: A New Dataset for Visual Road Assessment

  伦敦大学学院土木、环境和测绘工程系 · 2024年