ROADWork

ROADWork数据集是由卡内基梅隆大学创建，专注于自动驾驶车辆在施工区域的学习和导航。该数据集包含超过7000张来自18个美国城市的施工区域图像和序列，涵盖15种对象类型和360种交通控制设备（TTC）标志。数据集的创建过程涉及手动和半自动的数据采集及标注，确保了数据的多样性和质量。ROADWork数据集的应用领域主要集中在自动驾驶技术中，特别是在施工区域的感知和导航，旨在解决自动驾驶车辆在复杂和动态环境中的安全导航问题。

The ROADWork dataset was created by Carnegie Mellon University, focusing on the learning and navigation of autonomous vehicles in construction work zones. This dataset contains over 7,000 images and sequences of construction areas from 18 U.S. cities, covering 15 object types and 360 traffic control device (TTC) signs. The development of the dataset involved manual and semi-automatic data collection and annotation, ensuring the diversity and quality of the data. The main application scenarios of the ROADWork dataset are in autonomous driving technology, particularly for perception and navigation in construction zones, aiming to address the safe navigation challenges of autonomous vehicles in complex and dynamic environments.

搜集汇总

数据集介绍

构建方式

ROADWork数据集的构建采用了多源数据采集与精细化标注策略。数据来源包括自主采集的图像与Michelin Mobility Intelligence开放数据集中的视频帧，覆盖美国18个城市的道路场景。通过结合Detic开放词汇检测器与人工筛选，确保了工作区域图像的多样性与质量。标注流程融合了自动初始化与人工验证，对15类工作区域对象进行了实例分割，并额外标注了箭头板状态、临时交通控制标志的文本与图形、场景描述以及基于视频序列重建的可通行轨迹，形成了层次化的注释体系。

特点

该数据集的核心特点在于其针对自动驾驶长尾场景——工作区域的深度覆盖与细粒度标注。它不仅提供了常规的边界框与分割掩码，还包含了360种临时交通控制标志文本、62种图形符号以及箭头板动态状态，支持对工作区域进行局部细致观察。此外，数据集附带了人工撰写的全局场景描述，阐明了物体空间关系与活动状态，并提供了从实际驾驶视频中计算得到的二维与三维可通行轨迹，为理解工作区域的全局语义与导航规划提供了独特的多模态数据基础。

使用方法

ROADWork数据集适用于多个自动驾驶感知与规划任务的研究。在识别层面，可用于训练和评估工作区域对象检测与分割模型，特别是针对开放词汇模型表现不佳的稀有类别。在观察层面，其细粒度的标志文本与图形标注支持标志识别与文本解读算法的开发。在分析层面，场景描述可用于微调视觉-语言模型，以生成准确、忠实的场景理解报告。在导航层面，提供的可通行轨迹数据使得研究者能够建模并预测在复杂工作区域环境中的驾驶目标与路径，推动基于图像视角的长期轨迹预测研究。

背景与挑战

背景概述

ROADWork数据集由卡内基梅隆大学的研究团队于2024年创建，旨在解决自动驾驶在施工区域这一长尾场景中的感知与导航难题。该数据集聚焦于识别、观察、分析并安全通过施工区域的核心研究问题，涵盖了美国18个城市的超过5000个施工区域图像与序列，标注了15类对象实例、360种临时交通控制标志文本及可通行轨迹。其出现填补了现有自动驾驶数据集中施工区域样本稀缺的空白，为提升自动驾驶系统在复杂、动态环境中的鲁棒性与安全性提供了关键数据支撑。

当前挑战

ROADWork数据集面临的挑战主要体现在领域问题与构建过程两方面。在领域层面，施工区域场景具有高度异构性与动态性，对象类别长尾分布显著，且临时交通标志的细粒度识别与文本解读要求极高，传统开放词汇模型在此类任务上表现不佳。构建过程中，数据采集需覆盖多样地理与气候条件，确保视觉与地理多样性；标注工作涉及大量罕见对象的实例分割与细粒度属性标注，如标志文本、箭头状态等，人工验证成本高昂；此外，从视频序列中自动提取可通行轨迹并保证其准确性与多样性亦存在技术难度。

常用场景

经典使用场景

在自动驾驶研究领域，ROADWork数据集为理解与导航施工区域提供了关键支持。该数据集通过涵盖18个美国城市的多样化施工区域图像与序列，系统标注了15类施工对象、临时交通控制标志的精细属性以及全局场景描述，为模型训练与评估奠定了坚实基础。其经典应用场景聚焦于提升自动驾驶系统在长尾场景下的感知与决策能力，特别是在施工区域这类动态、异构且数据稀缺的环境中，通过多任务学习框架推动识别、观察、分析与路径预测的整体性能优化。

衍生相关工作

ROADWork数据集的发布催生了多项前沿研究，尤其在基础模型的适应性改进与多任务学习方面。基于该数据集，学者们探索了开放词汇检测模型在施工区域对象识别上的性能提升，如通过微调Mask R-CNN显著提高检测精度。同时，研究延伸至视觉语言模型的场景描述生成，利用LoRA微调策略减少描述中的幻觉现象。在导航规划领域，该数据集启发了图像空间中的目标与路径预测任务，借鉴YNet等轨迹预测架构，推动了施工区域长时程规划方法的发展。这些工作共同丰富了自动驾驶在边缘场景下的技术栈。

数据集最近研究

最新研究方向

在自动驾驶领域，施工区域作为长尾场景的代表，其感知与导航研究正面临前所未有的挑战。ROADWork数据集的推出，为这一领域注入了新的活力，其最新研究方向聚焦于多模态场景理解与动态路径规划。前沿探索主要围绕开放词汇检测模型在施工区域对象识别中的性能提升，通过精细标注的障碍物、标志牌及工作车辆等实例，显著优化了检测精度与场景发现率。同时，视觉语言模型在施工区域全局描述生成中的应用，结合对象上下文以减少幻觉现象，成为研究热点。在导航层面，研究致力于从图像空间预测可通行目标与路径，利用长时轨迹预测技术应对施工区域动态多变的交通规则与空间配置，从而提升自动驾驶系统在复杂环境中的适应性与安全性。这些进展不仅推动了施工区域场景理解的深化，也为自动驾驶在边缘场景中的可靠部署奠定了坚实基础。

相关研究论文

• ROADWork Dataset: Learning to Recognize, Observe, Analyze and Drive Through Work Zones

  卡内基梅隆大学 · 2024年