BDD-X dataset

BDD-X数据集专注于生成自动驾驶车辆的文本描述和解释，例如：‘车辆减速’（描述）和‘因为它接近交叉路口且交通灯为红色’（解释）。该数据集包含超过77小时的驾驶视频，覆盖多种驾驶条件，如白天/夜晚、高速公路/城市/乡村、夏季/冬季等，平均每段视频40秒，包含约3-4个动作，如加速、减速、右转等，所有动作均附有描述和解释。

The BDD-X dataset focuses on generating textual descriptions and explanations for autonomous vehicles. For example: "Vehicle decelerates" (description) and "because it is approaching an intersection and the traffic light is red" (explanation). This dataset contains over 77 hours of driving videos covering diverse driving conditions, such as day/night, highway/urban/rural roads, summer/winter, etc. The average duration of each video is 40 seconds, with approximately 3-4 driving actions per video including acceleration, deceleration, right turn and others, and all actions are accompanied by corresponding descriptions and explanations.

原始信息汇总

Berkeley Deep Drive-X (eXplanation) Dataset

数据集概述

我们专注于生成文本描述和解释，例如以下配对：

• “Vehicle slows down”（描述）和“Because it is approaching an intersection and the light is red”（解释）

数据集下载

下载我们的 BDD-X dataset，包含以下内容：

• BDD-X-Annotations_v1.csv: 文本描述和解释的标注文件。
• {train, val, test}.txt: 训练、验证和测试集的划分文件。

数据集统计

我们的数据集包含超过77小时的驾驶视频，共6,970个视频。视频在多种驾驶条件下拍摄，例如白天/夜晚、高速公路/城市/乡村、夏季/冬季等。每个视频平均时长40秒，包含约3-4个动作，如加速、减速、右转等，所有动作都带有描述和解释。数据集包含超过26,000个活动，超过840万帧。我们提供了训练集、验证集和测试集，分别包含5,597、717和656个视频。

数据收集

Berkeley DeepDrive dataset

我们的解释数据集建立在Berkeley Deep Drive数据集之上，该数据集通过人类驾驶车辆的仪表盘摄像头收集。该数据集包含约40秒长的仪表盘摄像头视频，由安装在车辆挡风玻璃后方的单个前视摄像头捕捉。视频主要在城市驾驶中拍摄，涵盖各种天气条件，包括白天和夜间。数据集还包括在其他道路类型上的驾驶，如住宅道路（有或无车道标记），并包含所有典型的驾驶员活动，如保持在车道内、转弯、变道等。除了视频数据外，数据集还提供了一系列时间戳传感器测量值，如车辆的速度、航向和GPS位置。

标注提示

我们的标注过程如下：我们提供一个驾驶视频，并要求人类标注者想象自己是一名驾驶教练。我们特别选择熟悉美国驾驶规则的标注者。标注者需要描述驾驶员正在做什么（尤其是在行为改变时）以及为什么，从驾驶教练的角度出发。每个描述的动作都必须伴随开始和结束时间戳。标注者可以在视频中暂停、快进和后退，以寻找有趣且合理的活动。

引用

如果您发现此数据集有用，请引用此论文（并参考数据集为Berkeley DeepDrive eXplanation或BDD-X数据集）：

@article{kim2018textual, title={Textual Explanations for Self-Driving Vehicles}, author={Kim, Jinkyu and Rohrbach, Anna and Darrell, Trevor and Canny, John and Akata, Zeynep}, journal={Proceedings of the European Conference on Computer Vision (ECCV)}, year={2018} }

搜集汇总

数据集介绍

构建方式

BDD-X数据集的构建基于Berkeley Deep Drive数据集，该数据集通过车载仪表盘摄像头记录了大量驾驶视频。这些视频时长约40秒，涵盖了城市、乡村、高速公路等多种驾驶环境，以及昼夜、季节等多样化的天气条件。为了生成文本描述和解释，研究人员设计了一个标注流程，邀请熟悉美国驾驶规则的标注员扮演驾驶教练的角色，对视频中的驾驶行为进行描述和解释。每个描述和解释都附有时间戳，确保标注的精确性。

特点

BDD-X数据集的显著特点在于其丰富的上下文信息和详细的文本解释。数据集包含超过77小时的驾驶视频，涵盖了6,970个视频片段，每个视频平均包含3-4个驾驶行为。这些行为不仅被描述，还被解释了其背后的原因，如车辆减速是因为接近红灯。此外，数据集提供了训练、验证和测试集的划分，便于模型训练和评估。

使用方法

BDD-X数据集主要用于训练和评估自动驾驶车辆的文本解释生成模型。用户可以通过提供的链接下载数据集，其中包括标注文件和训练、验证、测试集的划分。数据集的使用方法详见[Textual Explanations for Self-driving Vehicles](https://github.com/JinkyuKimUCB/explainable-deep-driving.git)项目。通过这些数据，研究人员可以开发和优化能够生成自然语言解释的自动驾驶系统，从而提高系统的透明度和用户信任度。

背景与挑战

背景概述

BDD-X数据集，由加州大学伯克利分校的研究团队于2018年创建，专注于为自动驾驶车辆生成文本描述和解释。该数据集基于Berkeley DeepDrive数据集，通过仪表盘摄像头记录了超过77小时的驾驶视频，涵盖了6,970个视频片段，每个视频平均时长40秒，包含3-4个驾驶行为。BDD-X数据集的核心研究问题是如何为自动驾驶系统提供可解释的文本描述，以便更好地理解和评估其决策过程。这一研究对自动驾驶领域具有重要意义，因为它不仅提升了系统的透明度，还为未来的自动驾驶技术发展提供了宝贵的数据资源。

当前挑战

BDD-X数据集在构建过程中面临多项挑战。首先，生成准确且有意义的文本描述和解释需要高度专业化的标注人员，这些人员不仅要熟悉驾驶规则，还需具备良好的语言表达能力。其次，视频数据的多样性和复杂性增加了标注的难度，尤其是在不同天气和路况下的驾驶行为。此外，确保标注的一致性和准确性也是一个重大挑战，因为不同标注者可能对同一驾驶行为的解释存在差异。最后，数据集的规模和复杂性对存储和处理能力提出了高要求，尤其是在训练和测试阶段需要处理大量视频和文本数据。

常用场景

经典使用场景

在自动驾驶领域，BDD-X数据集以其丰富的视频和详细的文本解释而著称。该数据集的经典使用场景主要集中在自动驾驶系统的解释性研究上。通过分析视频中的驾驶行为及其背后的原因，研究人员可以开发出能够生成自然语言解释的模型，从而提高自动驾驶系统的透明度和用户信任度。例如，当车辆减速时，系统可以解释为‘因为前方交通灯变红’，这种解释不仅帮助用户理解系统决策，还能在复杂驾驶环境中提供额外的安全保障。

实际应用

在实际应用中，BDD-X数据集为自动驾驶系统的开发和测试提供了宝贵的资源。通过使用该数据集，工程师可以训练和验证自动驾驶车辆在各种驾驶条件下的行为解释模型，从而提高系统的用户友好性和安全性。例如，在城市交通中，系统可以根据实时视频和预先训练的解释模型，向驾驶员提供关于为何改变行驶速度或方向的详细解释，这不仅增强了用户体验，还为系统的进一步优化提供了反馈。

衍生相关工作

BDD-X数据集的发布激发了大量相关研究工作。许多研究者基于该数据集开发了新的解释性模型，这些模型不仅能够生成准确的文本解释，还能在不同驾驶场景下保持高度的适应性。此外，该数据集还促进了自动驾驶系统与其他智能系统的集成研究，如与自然语言处理技术的结合，以实现更高级的人机交互。同时，BDD-X数据集也为自动驾驶系统的伦理和法律研究提供了数据支持，帮助探讨在复杂驾驶环境中如何确保系统的决策透明和公正。