Bench2Drive

Bench2Drive是由上海交通大学人工智能与计算机科学与工程学院创建的一个大型数据集，包含200万个完全标注的帧，来源于10000个短片段，均匀分布在44个交互场景、23种天气和12个城镇中。该数据集通过CARLA v2收集，旨在为全自动驾驶（FSD）提供一个全面、真实和公平的测试环境。创建过程中，数据集采用了先进的专家模型Think2Drive进行数据收集和标注。Bench2Drive的应用领域广泛，主要用于评估端到端自动驾驶（E2E-AD）系统的多重能力，解决现有评估方法中存在的不足，如开放环路评估的局限性和闭环评估中的高变异性。Bench2Drive is a large-scale dataset developed by the School of Artificial Intelligence and Computer Science and Engineering, Shanghai Jiao Tong University. It contains 2 million fully annotated frames derived from 10,000 short clips, which are uniformly distributed across 44 interactive driving scenarios, 23 weather conditions, and 12 towns. Collected via CARLA v2, this dataset is designed to offer a comprehensive, realistic and fair testing environment for fully autonomous driving (FSD). During its construction, the advanced expert model Think2Drive was utilized for data collection and annotation. Bench2Drive has broad application domains, and is primarily employed to evaluate the multiple capabilities of end-to-end autonomous driving (E2E-AD) systems, while addressing the drawbacks of existing evaluation methods including the limitations of open-loop evaluation and the high variability present in closed-loop evaluation.

搜集汇总

数据集介绍

构建方式

Bench2Drive数据集的构建方式旨在解决现有端到端自动驾驶（E2E-AD）系统评估方法的不足。该数据集由2百万个完全标注的帧组成，这些帧从10000个视频片段中收集，这些片段均匀分布在CARLA v2模拟器中的44种交互场景下，包括切入、超车、绕道等，以及23种天气条件和12个城镇环境。每个视频片段大约150米长，包含一个特定的场景，确保了数据集的多样性和覆盖范围。

特点

Bench2Drive数据集的特点在于其全面性和多样性。它提供了220条评估路线，每条路线针对一个特定的驾驶场景，并涵盖了不同的城镇和天气条件。这种设计允许对每个驾驶技能进行隔离评估，从而提供了更详细和准确的分析。此外，数据集的规模和多样性确保了所有自动驾驶系统在相似的条件下接受训练，这对于算法级别的公平比较至关重要。

使用方法

Bench2Drive数据集的使用方法涉及使用官方训练数据集进行模型的训练，然后使用评估工具包对模型的驾驶技能进行评估。评估协议要求E2E-AD模型在不同位置和天气条件下通过44个交互场景。评估工具包包括220条评估路线，每条路线长度约为150米，包含一个特定的驾驶场景。评估指标包括成功率和驾驶评分，用于衡量模型的驾驶性能和遵守交通规则的能力。

背景与挑战

背景概述

随着自动驾驶技术的飞速发展，端到端自动驾驶（E2E-AD）系统因其数据驱动下的可扩展性而成为研究热点。然而，现有的E2E-AD方法大多在开放环路的日志回放方式下进行评估，使用L2误差和碰撞率作为指标，这无法完全反映算法的驾驶性能。为了解决这一问题，Bench2Drive应运而生，这是首个用于评估E2E-AD系统多功能的闭环评估基准。该数据集由上海交通大学人工智能与计算机科学与工程系的研究团队创建，包含200万个完全标注的帧，涵盖44种交互场景、23种天气和12个城镇，旨在提供一个全面、真实和公平的测试环境。

当前挑战

Bench2Drive数据集面临的挑战包括：1)所解决的领域问题是E2E-AD系统的闭环评估，目前的评估方法大多在开放环路下进行，无法充分反映算法的驾驶性能；2)构建过程中所遇到的挑战包括数据集的多样性、标注的准确性以及评估协议的公平性。为了应对这些挑战，Bench2Drive设计了220条短路线，每条路线包含一个特定的驾驶场景，以实现对个别技能的隔离评估，并减少驾驶评分指标的方差，从而提供更准确和有意义的性能比较。

常用场景

经典使用场景

Bench2Drive数据集作为首个封闭式端到端自动驾驶系统多能力评估基准，为自动驾驶领域的研究提供了一个全新的视角。该数据集官方训练数据由200万个完全注释的帧组成，涵盖了44种交互式场景、23种天气和12个城镇，确保了训练数据的多样性和丰富性。在评估协议中，E2E-AD模型需要在不同位置和天气条件下通过44个交互式场景，共计220条路线，从而提供了对不同情况下驾驶能力的全面且解耦的评估。

实际应用

Bench2Drive数据集的实际应用场景广泛，包括但不限于自动驾驶系统的训练和评估、自动驾驶技术的研发和改进等。通过使用Bench2Drive数据集进行训练和评估，可以更准确地了解自动驾驶系统在不同场景下的驾驶能力，从而推动自动驾驶技术的发展。此外，Bench2Drive数据集还可以用于自动驾驶领域的教育和培训，帮助学生和研究人员更好地理解和掌握自动驾驶技术。

衍生相关工作

基于Bench2Drive数据集，研究人员可以开展一系列相关的工作，例如开发新的E2E-AD算法、设计更有效的训练策略、改进评估方法等。此外，Bench2Drive数据集还可以用于其他相关领域的研究，例如交通预测、路径规划、决策制定等。通过不断探索和应用Bench2Drive数据集，可以推动自动驾驶领域的进一步发展，并为相关领域的研究提供新的思路和方向。