Highway-Text和Urban-Text

本研究贡献了两个场景描述数据集：Highway-Text和Urban-Text。Highway-Text数据集包括来自下一代模拟（NGSIM）数据集和高速公路无人机数据集（HighD）的场景描述；Urban-Text数据集则包含来自澳门连接自动驾驶（MoCAD）数据集和阿波罗景观（ApolloScape）的场景描述。这些数据集覆盖了各种交通场景，旨在提高LLMs对复杂交通场景的理解，并减少虚假现象。通过使用CoT提示技术，数据集指导LLMs逐步生成上下文感知的语义注释。

This study contributes two scenario description datasets: Highway-Text and Urban-Text. The Highway-Text dataset comprises scenario descriptions sourced from the Next Generation Simulation (NGSIM) dataset and the Highway Drone Dataset (HighD), while the Urban-Text dataset contains scenario descriptions from the Macao Connected Autonomous Driving (MoCAD) dataset and ApolloScape. These datasets cover a wide range of traffic scenarios, with the goal of improving LLMs' understanding of complex traffic scenarios and reducing hallucinations. By utilizing Chain-of-Thought (CoT) prompting techniques, these datasets guide LLMs to generate context-aware semantic annotations step-by-step.

搜集汇总

数据集介绍

构建方式

Highway-Text和Urban-Text数据集的构建方式主要依托于真实世界的数据集，包括NGSIM、HighD、MoCAD和ApolloScape等。通过对这些数据集中的交通场景进行详细的文字描述，并使用CoT prompting技术引导LLMs（如GPT-4 Turbo）进行逐步分析，从而生成语义丰富的场景描述。这些描述不仅包括交通参与者（如车辆、行人、自行车）的类型、位置、速度、航向和环境元素等信息，还涉及对交通场景的互动分析、风险评估和预测。为了保证生成的语义描述的准确性和可靠性，所有的LLM生成的标注都经过人工验证，并与交通规则和法律标准进行交叉检查。

特点

Highway-Text和Urban-Text数据集的特点在于其语义丰富性和场景复杂性。这些数据集包含了超过1000万个单词的文本描述，覆盖了高速公路、城市道路、交叉口和环岛等多种交通场景。通过对交通场景的详细描述，这些数据集不仅提供了丰富的语义信息，还揭示了交通参与者之间的复杂互动和动态变化。此外，这些数据集还采用了CoT prompting技术，使得LLMs能够模拟人类的认知过程，从而提高对交通场景的理解和预测的准确性。

使用方法

Highway-Text和Urban-Text数据集主要用于微调轻量级语言模型（LMs），以生成特定于上下文的语义标注。首先，使用CoT prompting技术引导LLMs（如GPT-4 Turbo）对交通场景进行逐步分析，生成语义丰富的场景描述。然后，将这些描述作为知识标签，用于指导轻量级LMs的训练，使其能够理解和生成类似的场景描述。通过这种方式，轻量级LMs可以继承LLMs的高级场景理解能力，同时保持计算和存储的效率。最后，这些微调后的LMs可以用于自动驾驶系统的运动预测任务，以提供准确和实时的预测结果。

背景与挑战

背景概述

自动驾驶技术的核心在于准确预测交通参与者的运动轨迹，这对于确保自动驾驶车辆的安全决策和规划至关重要。本研究提出了CoT-Drive，一种利用大型语言模型（LLMs）和思维链（CoT）提示方法来增强运动预测的新方法。该研究由澳门大学智能城市物联网国家重点实验室的研究人员主导，旨在解决自动驾驶中的运动预测问题。CoT-Drive通过引入教师-学生知识蒸馏策略，有效地将LLMs的高级场景理解能力转移到轻量级语言模型（LMs）中，确保CoT-Drive能够在边缘设备上实时运行，同时保持全面的场景理解和泛化能力。此外，该研究还提出了两个新的场景描述数据集Highway-Text和Urban-Text，旨在微调轻量级LMs以生成特定于上下文的语义注释。这项研究首次考虑了LLMs在该领域的实际应用，开创了轻量级LLM代理在运动预测中的训练和使用，为自动驾驶系统中的LLMs集成树立了新的基准，并展示了其潜力。

当前挑战

CoT-Drive面临的主要挑战包括：1)如何确保模型在边缘设备上实时运行，同时保持全面的场景理解和泛化能力；2)如何有效地将LLMs的高级场景理解能力转移到轻量级模型中，以确保在计算受限的边缘设备上进行高效、高精度的预测；3)是否可以利用CoT提示来增强LLMs在复杂场景中的上下文理解，从而在不进行额外微调的情况下提高运动预测的准确性和可靠性。此外，构建数据集过程中也遇到了挑战，包括如何设计有效的CoT提示技术，以及如何确保生成的语义注释符合交通规则和法律标准。

常用场景

经典使用场景

Highway-Text 和 Urban-Text 数据集主要用于自动驾驶领域中的运动预测任务。这些数据集提供了详细的场景描述，包括车辆、行人、自行车等交通参与者的位置、速度、方向等信息，以及环境因素如交通信号、道路状况等。这些描述通过 CoT prompting 技术，引导 LLMs 生成语义注释，从而提高模型对复杂交通环境的理解能力。CoT-Drive 模型利用这些语义注释，结合历史状态和时空数据，进行多模态融合，最终预测目标车辆的未来轨迹。

实际应用

Highway-Text 和 Urban-Text 数据集在实际应用中具有重要意义。这些数据集可以帮助自动驾驶系统更好地理解交通环境，预测交通参与者的未来行为，从而提高自动驾驶车辆的安全性。此外，这些数据集还可以用于训练轻量级语言模型，使其具有类似人类的推理能力，从而提高自动驾驶系统的可解释性和适应性。

衍生相关工作

Highway-Text 和 Urban-Text 数据集的提出，为自动驾驶领域中的运动预测任务提供了新的思路和方法。这些数据集可以被用于训练轻量级语言模型，使其具有类似人类的推理能力，从而提高自动驾驶系统的可解释性和适应性。此外，这些数据集还可以被用于开发新的运动预测模型，进一步提高自动驾驶车辆的安全性。