Dynamic Human Benchmarks

动态人类基准数据集由Waymo LLC创建，用于评估自动驾驶系统（ADS）的性能。该数据集包含超过2000万英里的Waymo乘客专用（RO）运营数据，覆盖美国三个县。数据集通过警察报告的碰撞数据和车辆行驶里程（VMT）数据生成，旨在调整ADS与人类驾驶在空间和时间分布上的差异。创建过程涉及对地理和时间因素的精细调整，以确保基准的公平性和准确性。该数据集主要应用于自动驾驶系统的安全评估，旨在解决现有基准在地理和时间分布上的不匹配问题。

The Dynamic Human Benchmark Dataset was developed by Waymo LLC for evaluating the performance of Autonomous Driving Systems (ADS). This dataset encompasses over 20 million miles of Waymo Ride-only (RO) operational data, spanning three counties across the United States. Generated using police-reported crash data and Vehicle Miles Traveled (VMT) data, it is designed to align the discrepancies in spatial and temporal distributions between ADS and human driving. The development process involves refined tuning of geographic and temporal factors to guarantee the fairness and accuracy of the benchmark. This dataset is primarily utilized for safety assessment of autonomous driving systems, aiming to address the mismatch issues in spatial and temporal distributions faced by existing benchmarks.

AI搜集汇总

数据集介绍

构建方式

该数据集的构建基于一种新颖的方法，通过调整空间和时间上的驾驶分布差异，来生成动态人类基准。研究使用了2022年的人类警察报告的碰撞数据和车辆行驶里程（VMT）数据，以及Waymo的乘客专用（RO）运营数据，累计超过2000万英里。通过S2单元框架将地理区域离散化，以进行地理调整。动态基准的计算是通过加权平均所有驾驶片段，其中权重与ADS在该驾驶片段内的行驶里程成比例。

使用方法

该数据集适用于评估和比较ADS与人类驾驶的安全性能。研究者可以通过分析动态基准与未调整基准的差异，来评估ADS在不同地理和时间条件下的表现。此外，数据集还可以用于探索其他可能影响碰撞率的因素，如天气、道路类型等。使用时，建议结合具体的研究问题，选择合适的分析方法和工具。

背景与挑战

背景概述

Dynamic Human Benchmarks数据集由Waymo LLC的研究团队创建，主要研究人员包括Yin-Hsiu Chen、John M. Scanlon、Kristofer D. Kusano、Timothy L. McMurry和Trent Victor。该数据集的核心研究问题在于构建动态人类基准，以调整自动驾驶系统（ADS）与人类驾驶在空间和时间分布上的差异。通过使用人类警察报告的碰撞数据、车辆行驶里程（VMT）数据以及Waymo的乘客专用（RO）运营数据，该研究在三个美国县进行了超过2000万英里的数据积累。这一研究不仅填补了现有ADS性能评估中地理匹配的空白，还强调了在基准分析中调整空间和时间混杂因素的重要性，从而为ADS性能评估提供了更为公平的基准。

当前挑战

Dynamic Human Benchmarks数据集面临的挑战主要集中在两个方面。首先，该数据集旨在解决自动驾驶系统与人类驾驶在空间和时间分布上的差异问题，这要求精确匹配ADS和人类驾驶的暴露数据，包括操作设计域（ODD）中的驾驶差异。其次，在构建过程中，研究人员遇到了数据报告实践和暴露差异的技术难题，特别是在处理人类驾驶数据时，由于数据报告的丰富性不足，限制了精确匹配的能力。此外，数据的地理和时间分布的调整需要高精度的数据支持，而现有数据在某些维度上的缺失，如道路类型和时间段的详细报告，增加了构建动态基准的复杂性。

常用场景

经典使用场景

Dynamic Human Benchmarks数据集的经典使用场景在于评估自动驾驶系统（ADS）的安全性能。通过对比ADS与人类驾驶的碰撞率，该数据集提供了空间和时间上的校准，确保在不同地理区域和时间段内的驾驶分布差异得到考虑。这种校准方法使得对ADS的安全性能评估更加公平和准确，特别是在城市街道和非高速公路环境中。

解决学术问题

Dynamic Human Benchmarks数据集解决了自动驾驶系统（ADS）性能评估中的一个关键学术问题，即如何准确地比较ADS与人类驾驶的安全性能。传统的评估方法通常基于县级的地理匹配，忽略了驾驶分布在空间和时间上的差异。该数据集通过引入动态校准，解决了这一问题，为ADS的安全评估提供了更为精确的基准，从而推动了自动驾驶技术的发展和应用。

实际应用

Dynamic Human Benchmarks数据集在实际应用中主要用于自动驾驶系统的安全性能评估和优化。通过提供空间和时间上的驾驶分布校准，该数据集帮助企业和研究机构更准确地评估其ADS在不同地理区域和时间段内的表现。这不仅有助于提升ADS的安全性能，还为政策制定者提供了科学依据，以制定更合理的自动驾驶相关法规和标准。

数据集最近研究

最新研究方向

在自动驾驶系统（ADS）性能评估领域，最新的研究方向集中在构建动态人类基准（Dynamic Human Benchmarks），以解决现有基准在空间和时间分布上的不匹配问题。该研究通过调整空间和时间变量，确保ADS与人类驾驶数据的分布一致性，从而更准确地评估ADS的安全性能。具体方法包括利用警察报告的碰撞数据和车辆行驶里程（VMT）数据，结合Waymo的实际运营数据，进行空间和时间上的校准。研究发现，这种动态基准的调整显著提高了评估的准确性，特别是在旧金山、马里科帕和洛杉矶等地区的应用中，显示出对ADS安全评估的深远影响。

相关研究论文

• Dynamic Benchmarks: Spatial and Temporal Alignment for ADS Performance Evaluation

  Waymo LLC · 2024年