robusto-1_extended

Robusto-1 Extended数据集包含来自秘鲁三个城市（主要是利马、库斯科和卡哈马卡）的视频记录，以及关于车辆行为、外部因素和驾驶条件的详细信息。这个数据集适用于车辆行为分析、交通状况检测和驾驶场景模拟等任务。每个视频记录包括关于自车行为、外部条件（交通标志、天气等）的数据，并且这些视频是在不同的交通条件下录制的，每个视频都有相应的元数据标签。

原始信息汇总

Robusto-1 Extended 数据集概述

基本信息

• 数据集名称: Robusto-1 Extended
• 标签: video, urban-driving, peru, traffic, autonomous-driving
• 许可证: Apache-2.0
• 任务类别: video-classification

数据集描述

• 内容: 包含秘鲁3个城市（主要是利马、库斯科和卡哈马卡）录制的视频，涵盖车辆行为、外部因素和驾驶条件的详细信息。
• 用途: 适用于车辆行为分析、交通状况检测和驾驶场景模拟等任务。
• 特点:
  • 每个视频记录包含自我车辆行为、外部条件（交通标志、天气等）的详细信息。
  • 视频在各种交通条件下录制，并附有相应的元数据标签。

主要特征

• ID: 视频的唯一标识符。
• Video_Name: 视频文件名。
• Place: 视频录制地点。
• Ego_Vehicle: 录制期间自我车辆行为的详细信息。
• External_Factors: 外部条件（如交通标志、天气等）。
• Video: .mp4格式的视频文件路径。

元数据示例

json { "ID": "Robusto 1_1", "Place": "Lima", "Ego_Vehicle": { "Vehicle Actions": "Advancing Intermittently", "Driving Action Reasoning": "Following Vehicle Ahead", "Vehicle Motion Behavior": "Stop-and-Go" }, "External_Factors": { "Traffic Signs": "", "Traffic Lights": "Red", "Weather Conditions": "Clear", "Road Surface Conditions": "", "Road Structures": "", "Static objects": "Buildings", "Other Vehicle Behaviors": "Cutting Off", "Pedestrian Behavior": "", "Unexpected Obstacles": "", "Emergency Situations": "", "Lighting Conditions": "Daylight", "Traffic Conditions": "Heavy Traffic", "Driving Environment": "Urban" } }

数据集使用

• 用途: 车辆行为分析、改进自动驾驶算法、训练/测试需要交通和车辆行为数据的计算机视觉模型。
• 加载方式: python from datasets import load_dataset dataset = load_dataset("path/to/robusto-1_extended")

文件结构

robusto-1_extended/ ├── README.md ├── metadata.jsonl └── videos/ ├── Robusto 1_1.mp4 ├── Robusto 1_2.mp4 └── ...

与Robusto-1数据集的区别

• Robusto-1 Extended: 包含200个视频及其元数据，用于VQA研究，便于不同团队创建自己的问题。
• Robusto-1: 包含7个视频片段，同时包含人类和机器响应以及视频元数据。

引用

bibtex @article{cusipuma2025robusto, title={Robusto-1 Dataset: Comparing Humans and VLMs on real out-of-distribution Autonomous Driving VQA from Peru}, author={Cusipuma, Dunant and Ortega, David and Flores-Benites, Victor and Deza, Arturo}, journal={arXiv preprint arXiv:2503.07587}, year={2025} }

搜集汇总

数据集介绍

构建方式

Robusto-1 Extended数据集通过系统化的数据采集流程构建而成，研究团队在秘鲁利马、库斯科和卡哈马卡三个城市的不同交通场景下，使用车载摄像头录制了200段5秒长的视频片段，采样率为每秒10帧。视频采集过程严格遵循标准化协议，确保覆盖多样化的驾驶条件，包括不同天气、光照和交通密度。每段视频均配有精细标注的JSON格式元数据，详细记录了自车行为、外部环境因素等37类驾驶场景特征，数据标注由专业团队完成并通过多重校验保证质量。

特点

该数据集的核心价值在于其独特的场景多样性和精细标注体系。视频内容聚焦秘鲁城市道路中的分布外驾驶场景，包含重型交通、突发障碍物等具有挑战性的真实路况。元数据采用层次化结构，将车辆行为分解为具体动作、行为动机和运动模式三个维度，外部环境因素则细分为13个子类别。所有视频均以MP4格式存储，分辨率统一为1920×1080，确保了计算机视觉模型训练的输入一致性。与原始Robusto-1数据集相比，其样本量扩大28倍，为视觉问答系统的自主问题构建提供了更丰富的素材基础。

使用方法

研究者可通过Hugging Face平台便捷获取该数据集，使用datasets库的load_dataset函数即可加载。数据集采用标准化的文件组织结构，视频文件与元数据分离存储，其中metadata.jsonl采用JSON Lines格式便于流式处理。典型应用场景包括：基于视频帧序列的车辆行为预测模型训练、交通条件分类器的开发，以及自动驾驶系统的异常场景检测。使用建议先将视频解码为帧序列，结合对应元数据构建多模态输入，特别注意利用外部环境因素标签增强模型的场景理解能力。学术引用需遵循CVPR 2025研讨会论文的规范格式。

背景与挑战

背景概述

Robusto-1 Extended数据集由秘鲁利马、库斯科和卡哈马卡三个城市的驾驶场景视频构成，聚焦于自动驾驶领域中的车辆行为分析与交通状况检测。该数据集由Cusipuma等研究人员于2025年构建，旨在为视觉问答（VQA）研究提供丰富的真实世界驾驶场景数据，其核心研究问题在于解决自动驾驶系统在分布外场景下的泛化能力。作为CVPR 2025研讨会推荐数据，其多维度标注体系（包括自我车辆行为、外部环境因素等）为自动驾驶算法的鲁棒性评估提供了重要基准。

当前挑战

该数据集主要应对自动驾驶领域的两大挑战：一是分布外场景下视觉问答系统的性能退化问题，二是复杂城市交通环境中多模态数据（如天气、路况、突发障碍物）的协同理解难题。在构建过程中，研究团队面临秘鲁特有交通场景（如非标准化道路标识、混合交通流）的数据采集困难，以及200段视频中动态目标与静态环境要素的精细化标注挑战。此外，如何保持10fps视频帧率下行为标注的时间一致性，也是该数据集区别于传统驾驶数据集的技术难点。

常用场景

经典使用场景

Robusto-1 Extended数据集作为涵盖秘鲁多个城市驾驶场景的视频资源，其经典使用场景聚焦于自动驾驶算法的训练与验证。该数据集通过捕捉利马、库斯科和卡哈马卡等城市复杂多变的交通状况，为研究者提供了丰富的真实世界驾驶场景，特别适用于车辆行为模式分析和交通状态识别等任务。视频中记录的车辆运动轨迹、交通信号状态及天气条件等多维度信息，为构建鲁棒的自动驾驶系统奠定了数据基础。

解决学术问题

该数据集有效解决了自动驾驶领域的关键学术问题，特别是针对分布外场景的模型泛化能力挑战。通过提供200段包含复杂交通交互、异常天气条件和特殊道路结构的视频片段，研究者能够深入探究视觉问答系统在边缘案例中的表现差异。其详尽的元数据标注体系为分析驾驶决策逻辑与环境因素关联性提供了量化研究框架，显著推动了自动驾驶系统的安全性和适应性研究。

衍生相关工作

基于该数据集衍生的经典研究包括CVPR 2025研讨会发表的视觉问答基准测试框架，该工作系统比较了人类与视觉语言模型在分布外驾驶场景中的认知差异。后续研究进一步扩展了数据集的标注体系，开发了针对发展中国家交通特征的语义分割标签。相关团队还构建了跨模态检索系统，实现了视频片段与交通法规条文的智能关联分析。