驾驶评价数据集

本研究构建的驾驶评价数据集，通过自然驾驶实验及驾驶后的深入访谈收集而来，包含了24名驾驶员和48名乘客的评价数据。数据集聚焦于驾驶员的行为、决策和心态，以及乘客对驾驶体验的感知、期望和评价。经过精心处理和分类，数据集以结构化的形式呈现，包括700个驾驶员知识单元和760个乘客知识单元，旨在弥补LLM在驾驶领域专业知识方面的不足，提高其在驾驶评价任务中的准确性和合理性。

The driving evaluation dataset constructed in this study was collected via natural driving experiments and post-driving in-depth interviews, encompassing evaluation data from 24 drivers and 48 passengers. The dataset centers on drivers' behaviors, decision-making, and mental states, as well as passengers' perceptions, expectations, and evaluations of the driving experience. Following meticulous processing and categorization, the dataset is presented in a structured format, including 700 driver knowledge units and 760 passenger knowledge units. It is designed to address the gaps in professional driving-domain knowledge of Large Language Models (LLMs), thereby improving their accuracy and rationality in driving evaluation tasks.

搜集汇总

数据集介绍

构建方式

本研究提出了一种基于大型语言模型（LLM）的驾驶评价框架，旨在全面评估自动驾驶智能。为了构建这一框架，研究者通过自然驾驶实验和驾驶后行为评价访谈，收集了人类专业驾驶员和乘客的自然语言评价数据。实验邀请了24名驾驶员和48名乘客参与，通过360度全景相机、运动相机和CAN总线数据记录了驾驶过程中的行为和车辆状态。访谈过程中，参与者被要求描述他们的驾驶决策和心态，以及他们对驾驶行为的评价。最后，研究者从访谈数据中提取关键信息，构建了一个包含700个驾驶员知识单元和760个乘客知识单元的驾驶评价知识库，并将其转换为JSON格式，以便于LLM使用。

特点

驾驶评价数据集的特点在于其全面性和多样性。数据集包含了不同驾驶水平的驾驶员和乘客的评价数据，以及多种驾驶环境和天气条件下的驾驶行为数据。此外，数据集还包含了驾驶员和乘客在驾驶过程中的决策、心态和评价，以及他们对舒适度和安全性的感知。这些特点使得数据集能够为自动驾驶智能评价提供丰富的信息和参考。

使用方法

驾驶评价数据集的使用方法主要包括以下几个方面：首先，数据集可以用于训练和评估LLM，以提高其驾驶评价的准确性和可靠性。其次，数据集可以用于构建驾驶评价知识库，为LLM提供丰富的驾驶领域知识。此外，数据集还可以用于开发自动驾驶智能评价框架，以及进行相关的模拟实验和人类评估。在使用数据集时，需要注意数据集的格式和内容，以及LLM的使用方法，以确保评价结果的准确性和可靠性。

背景与挑战

背景概述

自动驾驶技术的发展对于提升交通安全和效率具有重要意义。为了优化自动驾驶算法，评估方法的选择至关重要。然而，由于驾驶智能的复杂性，目前尚无全面的自动驾驶智能评估方法。本文提出了一种在复杂交通环境下评估驾驶行为智能的框架，旨在填补这一空白。我们通过自然驾驶实验和驾驶后行为评估访谈，构建了人类专业驾驶员和乘客的自然语言评估数据集。基于此数据集，我们开发了一个基于LLM的驾驶评估框架。通过在CARLA城市交通模拟器中进行模拟实验，并进一步通过人类评估验证了该框架的有效性。本研究为评估和设计更智能、更人性化的自动驾驶代理提供了有价值的见解。

当前挑战

自动驾驶评估领域面临的主要挑战包括：1) 所解决的领域问题的挑战，即目前缺乏全面评估自动驾驶智能水平的方法；2) 构建过程中所遇到的挑战，例如LLMs缺乏对复杂、特定领域知识的充分理解，这限制了它们全面准确评估关键驾驶信息的能力。

常用场景

经典使用场景

驾驶评价数据集作为自动驾驶智能评估的重要组成部分，已被广泛应用于自动驾驶系统性能评估与优化。该数据集通过自然驾驶实验和驾驶后行为评估访谈，收集了专业驾驶员和乘客的真实驾驶数据和评价，为自动驾驶系统的安全、智能和舒适性提供了全面的评估维度。该数据集的经典使用场景包括但不限于：1）自动驾驶系统性能评估：利用数据集中的驾驶行为数据和乘客评价，对自动驾驶系统的操作稳定性、操作流畅性、异常处理能力、反应速度等关键性能指标进行量化评估。2）自动驾驶系统智能评估：通过数据集中的驾驶决策、驾驶行为和驾驶员心态等信息，评估自动驾驶系统在复杂交通环境中的适应行为、决策过程和战略规划能力。3）自动驾驶系统舒适性评估：利用数据集中的乘客评价和感知数据，对自动驾驶系统的驾驶风格、乘客舒适度和安全性进行评估。

解决学术问题

驾驶评价数据集解决了自动驾驶系统评估领域中的关键问题，即如何全面评估自动驾驶系统的智能水平。传统的评估方法主要依赖于数学模型和机器学习技术，缺乏对自动驾驶系统认知过程的深入理解。驾驶评价数据集通过构建自然语言评估数据集，利用大型语言模型（LLM）进行评估，模拟人类思维过程，从而实现了对自动驾驶系统智能水平的全面评估。此外，该数据集还解决了自动驾驶系统评估领域中的数据缺乏问题，为自动驾驶系统的评估提供了丰富的数据支持。

衍生相关工作

驾驶评价数据集的提出和实施，衍生了一系列相关的研究工作，如：1）基于LLM的自动驾驶决策解释方法：利用驾驶评价数据集中的驾驶决策数据和乘客评价数据，构建基于LLM的自动驾驶决策解释模型，实现对自动驾驶决策过程的解释和可视化。2）基于LLM的自动驾驶行为预测方法：利用驾驶评价数据集中的驾驶行为数据和乘客评价数据，构建基于LLM的自动驾驶行为预测模型，实现对自动驾驶行为的预测和模拟。3）基于LLM的自动驾驶系统评估方法：利用驾驶评价数据集中的驾驶行为数据和乘客评价数据，构建基于LLM的自动驾驶系统评估模型，实现对自动驾驶系统的全面评估。