JAAD Dataset|行人检测数据集|交通行为分析数据集

JAAD数据集旨在为行人检测、行人动作和手势识别以及交通参与者行为研究提供样本。数据包括346个高分辨率视频片段（5-15秒），带有注释，显示城市驾驶中的各种典型情况。视频使用仪表盘安装的摄像头录制。

The JAAD dataset is designed to provide samples for pedestrian detection, pedestrian action and gesture recognition, as well as research on the behavior of traffic participants. The data includes 346 high-resolution video clips (5-15 seconds) with annotations, showcasing various typical scenarios in urban driving. The videos were recorded using dashboard-mounted cameras.

原始信息汇总

数据集概述

数据集名称

JAAD (Joint Attention in Autonomous Driving) Dataset

数据集目的

提供样本用于行人检测、行人动作和手势识别，以及交通参与者的行为研究。

数据集内容

• 视频数据：包含346个高分辨率视频片段（5-15秒），使用仪表盘安装的摄像头录制。
• 注释数据：
  • 边界框（Bounding Boxes）：超过39万个边界框，涵盖2793个独特行人，格式为vbb。
  • 交通场景元素：提供traffic_scene_elements.txt文件，记录每个视频的场景元素及其对应的帧号。
  • 行人属性：提供pedestrian_attributes.txt文件，记录686个与驾驶员互动的行人的详细属性。
  • 行为注释：使用BORIS 2软件生成的行为数据，包括视频文件名、独立变量和时间戳观察。

数据集格式

• 视频格式：mp4和seq格式。
• 边界框格式：vbb格式，需使用Piotr Dollar的计算机视觉Matlab工具箱。
• 行为数据格式：BORIS tsv和xml格式。

数据集使用工具

• 视频到图像序列转换：使用split_clips_to_frames.sh脚本。
• Matlab中打开vbb文件：使用vbbLoad命令。
• Matlab中读取xml文件：使用xml2struct.m脚本。

数据集下载

所有视频序列可从项目网站下载：http://data.nvision2.eecs.yorku.ca/JAAD_dataset/

AI搜集汇总

数据集介绍

构建方式

JAAD数据集的构建基于346个高分辨率视频片段，这些视频片段时长在5到15秒之间，记录了城市驾驶中的典型场景。视频通过仪表盘安装的摄像头采集，涵盖了行人检测、行人动作和手势识别以及交通参与者行为研究等多个方面。数据集的标注包括行人及少数车辆的边界框，这些边界框以vbb格式提供，并根据遮挡情况分为部分遮挡和完全遮挡两类。此外，数据集还包含了详细的行人属性信息和行为标注，这些信息通过BORIS事件记录软件生成，并以tsv和xml格式提供。

特点

JAAD数据集的显著特点在于其丰富的标注信息和多样的应用场景。数据集不仅提供了行人及车辆的边界框，还详细记录了行人的行为、手势和属性，如性别、年龄、群体大小等。此外，数据集还包括了交通场景元素的标注，如交通标志、天气状况和道路条件等。这些详细的标注使得JAAD数据集在自动驾驶和行人行为研究领域具有广泛的应用潜力。

使用方法

使用JAAD数据集时，用户可以从项目网站下载视频片段，并使用提供的脚本将视频转换为图像序列。对于边界框数据，用户需要使用Piotr Dollar的计算机视觉Matlab工具箱来加载和查看vbb文件。行为和属性数据则可以通过BORIS软件生成的tsv和xml文件进行解析。MATLAB用户还可以使用xml2struct.m脚本来读取xml格式的行为数据。通过这些工具和脚本，研究人员可以方便地访问和分析JAAD数据集中的丰富信息。

背景与挑战

背景概述

JAAD数据集（Joint Attention in Autonomous Driving）由Amir Rasouli、Iuliia Kotseruba和John K. Tsotsos等人于2016年创建，旨在为自动驾驶领域提供行人检测、行人行为和手势识别以及交通参与者行为研究的数据支持。该数据集包含346个高分辨率视频片段，涵盖城市驾驶中的典型场景，通过仪表盘安装的摄像头记录。JAAD数据集的核心研究问题包括行人行为预测和交通场景理解，对自动驾驶技术的安全性和可靠性具有重要影响。

当前挑战

JAAD数据集在构建过程中面临多项挑战。首先，行人检测和行为识别在复杂的城市环境中具有高度不确定性，尤其是当行人被部分或完全遮挡时。其次，数据集需要精确标注大量视频帧中的行人边界框和行为标签，这要求高度专业化的标注工具和方法。此外，交通场景元素和行人属性的多样化增加了数据处理的复杂性，需要开发高效的算法来解析和利用这些信息。最后，确保数据集的标注一致性和准确性是持续的挑战，尤其是在处理大量视频数据时。

常用场景

经典使用场景

JAAD数据集在自动驾驶领域中被广泛应用于行人检测、行人行为和手势识别以及交通参与者行为研究。通过提供346个高分辨率视频片段，该数据集捕捉了城市驾驶中的典型场景，为研究人员提供了丰富的标注数据，以训练和验证行人检测算法，识别行人的行为模式，以及预测行人的未来动作。

解决学术问题

JAAD数据集解决了自动驾驶领域中行人行为预测和交互理解的关键问题。通过提供详细的行人行为标注和属性信息，该数据集帮助研究人员开发更精确的行人行为预测模型，从而提高自动驾驶系统的安全性和可靠性。此外，JAAD数据集还促进了行人检测和行为识别技术的进步，为自动驾驶技术的实际应用奠定了基础。

衍生相关工作

JAAD数据集的发布催生了一系列相关研究工作，特别是在行人行为预测和自动驾驶系统交互方面。例如，基于JAAD数据集的研究已经开发出多种行人行为预测模型，这些模型在自动驾驶系统中得到了广泛应用。此外，JAAD数据集还促进了行人检测和行为识别技术的进步，为自动驾驶技术的实际应用奠定了基础。