WTS Dataset

Woven Traffic Safety (WTS) 数据集由Woven by Toyota, Inc.提供，旨在强调车辆和行人在各种模拟交通事件中的详细行为，包括事故。该数据集包含超过1.2k的视频事件，覆盖超过130个不同的交通场景，整合了车辆自我视角和固定高空摄像头的多样化视角。每个事件都附有详细的文本描述，包括观察到的行为和上下文。此外，还提供了约4.8k个来自BDD100K的公开来源行人相关交通视频的详细文本描述标注，用于外部训练/测试资源等。The Woven Traffic Safety (WTS) dataset, provided by Woven by Toyota, Inc., is designed to highlight the detailed behaviors of vehicles and pedestrians in various simulated traffic incidents, including accidents. This dataset comprises over 1.2k video incidents, covering more than 130 different traffic scenarios, integrating diverse perspectives from both the vehicle's self-view and fixed overhead cameras. Each incident is accompanied by detailed textual descriptions, including observed behaviors and context. Additionally, it provides detailed textual annotations for approximately 4.8k pedestrian-related traffic videos from the publicly available BDD100K source, intended for external training/testing resources, among others.

原始信息汇总

WTS Dataset概述

数据集介绍

• 名称: WTS: A Pedestrian-Centric Traffic Video Dataset for Fine-grained Spatial-Temporal Understanding
• 来源: Woven by Toyota, Inc.
• 目的: 强调车辆和行人在各种交通事件中的详细行为，包括事故。
• 内容: 包含超过1.2k的视频事件，分布在超过130个不同的交通场景中，结合车辆自我视角和固定高架摄像头视角。
• 附加资源: 提供约4.8k来自BDD100K的公开来源行人相关交通视频的详细文本描述注释。

数据集结构

• 视频数据: 存储在videos文件夹中，包括真实世界的WTS数据和从BDD100K筛选的行人中心视频(BDD_PC_5K)。
• 注释: 提供目标行人和车辆的BBox注释以及详细的交通场景描述，包括位置、注意、行为和上下文。
• 未来更新: 将添加3D凝视和位置注释。

数据准备

• BBox注释: 基于帧，提供脚本frame_extraction.py用于提取帧以匹配注释中的ID。
• 注释共享: 同一情景文件夹中的视频共享相同的标题注释。

评估

• 验证集: 提供视频到文本任务的验证集，存储结构与train相同，位于val文件夹中。
• 提交格式: 对于AI City Challenge 2024 Track2，提交格式为JSON，包含所有测试视频的预测结果。

许可证和引用

• 许可证: 参考WTS数据集主页。
• 引用: 如果数据集对您的研究有帮助，请引用相关文献。

更新列表

• 已完成: 视图列表、首帧注释BBox、生成的BBox、评估代码。
• 待完成: 3D凝视注释、数据集arXiv论文。

搜集汇总

数据集介绍

构建方式

WTS数据集由丰田公司旗下的Woven by Toyota, Inc.构建，旨在强调车辆和行人在各种交通事件中的详细行为，特别是事故场景。该数据集通过整合车辆自身视角和固定高空摄像头的多视角视频，涵盖了超过130种不同的交通场景，总计超过1.2k个视频事件。每个事件都附有详细的文本描述，涵盖了观察到的行为和上下文信息。此外，为了多样化的实验目的，数据集还提供了来自BDD100K的约4.8k个行人相关交通视频的详细文本描述注释，作为外部训练/测试资源。

特点

WTS数据集的显著特点在于其提供了交通领域中最大数量的视频，并附有长篇且细粒度的视频描述，以及3D空间信息。这些视频不仅包括真实的交通事件，还特别关注行人和车辆的交互行为。数据集的多样性体现在其多视角的视频采集方式，以及对每个事件的详细文本描述，使得研究者能够深入理解交通场景中的时空动态。

使用方法

WTS数据集的使用方法灵活多样，用户可以通过提供的视频和注释进行多种任务的研究，如视频到文本的生成、行人行为分析等。数据集的结构清晰，视频和注释分别存储在不同的文件夹中，用户可以根据需要选择特定的视频和注释进行分析。此外，数据集还提供了评估脚本，用户可以通过这些脚本对模型的输出进行评估，确保研究结果的准确性和可靠性。

背景与挑战

背景概述

WTS数据集，全称为Woven Traffic Safety Dataset，由丰田公司旗下的Woven by Toyota, Inc.创建，专注于行人中心的城市交通视频数据。该数据集旨在通过详细的时空理解，提升对交通事件中行人及车辆行为的分析能力。WTS数据集包含了超过1.2千个视频事件，涵盖130多种不同的交通场景，结合了车辆自视和固定高空摄像头的多视角数据。每个事件都附有详细的文本描述，涵盖了行人和车辆的行为、位置及上下文信息。此外，WTS还提供了来自BDD100K的4.8千个行人相关交通视频的详细文本描述，以支持更广泛的研究和实验。该数据集的发布不仅为交通安全的研究提供了丰富的资源，也为AI City Challenge 2024 Track2提供了官方数据支持，预计将在计算机视觉领域产生深远影响。

当前挑战

WTS数据集在构建过程中面临多项挑战。首先，数据集需要处理复杂的交通场景，包括事故等极端情况，这对视频数据的采集和标注提出了高要求。其次，数据集包含了多视角的视频数据，如何确保不同视角间的数据一致性和标注的准确性是一个技术难题。此外，数据集还提供了3D注视点标注，这对标注的精确性和计算复杂度提出了更高的要求。最后，数据集的多样性和规模也带来了存储和处理上的挑战，尤其是在处理大规模视频数据和多维度标注时，如何高效地进行数据管理和分析是一个重要的研究方向。

常用场景

经典使用场景

WTS数据集以其精细的空间-时间理解能力，广泛应用于行人行为分析与车辆交互研究。通过整合车辆自视图与固定高空摄像头的多视角视频，该数据集能够捕捉复杂交通场景中的微妙动态，如行人行为模式、车辆轨迹及两者间的交互。这些特性使其成为研究行人安全、交通预测及自动驾驶系统优化的理想选择。

实际应用

在实际应用中，WTS数据集被广泛用于开发和验证行人检测、行为预测及交通事件分析系统。例如，在自动驾驶领域，该数据集帮助优化车辆对行人行为的识别与预测，从而提高行车安全性。此外，交通管理部门也可利用该数据集进行事故分析与预防策略的制定，提升城市交通的整体效率与安全性。

衍生相关工作

基于WTS数据集，研究者们开展了多项经典工作，包括行人行为预测模型、车辆与行人交互的深度学习分析以及交通事件的时空序列建模。这些工作不仅推动了计算机视觉在交通领域的应用，还为自动驾驶、智能交通系统等前沿技术提供了重要的数据支持和算法验证平台。