Language-to-Trajectory (L2T)

我们创建了一个全新的Language-to-Trajectory (L2T)数据集，包括24万条车辆交互和行为的文本描述，每条描述都配以相应的地图拓扑和车辆轨迹片段。考虑到GitHub的限制，我们在这里提供了一个迷你版本的数据集。我们将在论文被接受后提供完整的数据集。

We present a novel Language-to-Trajectory (L2T) dataset, which comprises 240,000 textual descriptions of vehicle interactions and behaviors, with each description paired with corresponding map topology and vehicle trajectory clips. Given the constraints of GitHub, we only provide a mini-version of the dataset herein. The full dataset will be released upon acceptance of our paper.

原始信息汇总

Trajectory-LLM 数据集概述

数据集简介

• 名称: Trajectory-LLM
• 用途: 用于自动驾驶中的轨迹预测
• 方法: 采用两阶段"交互-行为-轨迹"转换，利用LLM将车辆交互的文本描述转换为车辆行为，再转换为运动参数表示轨迹

数据集内容

• L2T数据集:

  • 包含240K车辆交互和行为的文本描述
  • 每个描述配对相应的地图拓扑和车辆轨迹段
  • 提供mini版本: dataset/L2T_train_mini_400.json

• 训练/测试数据集:

  • 训练集: dataset/trajllm_train_mini_10k.pkl
  • 测试集: dataset/trajllm_test_mini_1k.pkl

数据集特点

• 场景多样性:

  • 能良好泛化到包含交通锥、自行车和行人的场景
  • 包含六种道路拓扑: 直道、弯道、环岛、十字/T形/Y形交叉口

• 数据分布:

  • 包含不同类型地图的比例分布
  • 包含不同类型交互和行为组合的比例分布

应用效果

• 添加Traj-LLM生成的轨迹训练预测模型(MTR)可减少:
  • 碰撞
  • 无交互
  • 偏离道路 等情况的发生

使用说明

1. 环境准备: sh pip install -r requirements.txt

2. 训练:

   • 编辑scripts/train.sh中的llama_model_path
   • 执行: sh bash scripts/train.sh

3. 测试:

   • 编辑scripts/test.sh中的llama_model_path和weight_dir
   • 执行: sh bash scripts/test.sh

搜集汇总

数据集介绍

构建方式

Language-to-Trajectory (L2T)数据集的构建采取了两阶段‘交互-行为-轨迹’翻译策略。首先，利用带有随机局部性注意力的语言模型（LLM）将车辆交互的文本描述转换为每辆车的行为，每个行为都与底层逻辑相关联。其次，基于车辆交互和行为，LLM将其翻译为表示每辆车轨迹的顺序运动参数。

特点

L2T数据集包含24万条车辆交互和行为的文本描述，每条描述都与相应的地图拓扑结构和车辆轨迹片段配对。数据集涵盖六种道路拓扑结构，包括直行道、弯道、环形交通岛、以及各类交叉口。此外，所生成的轨迹在涉及交通锥、自行车和行人的场景中具有良好的泛化能力，并对轨迹预测模型的训练产生了积极影响。

使用方法

使用L2T数据集首先需要安装必要的依赖项，之后可以通过编辑训练和测试脚本中的模型路径和权重目录来执行训练和测试。训练数据集和测试数据集都是通过对L2T数据集进行处理而创建的，分别用于训练和测试Traj-LLM模型。

背景与挑战

背景概述

Language-to-Trajectory (L2T)数据集，是在自动驾驶领域背景下，由研究人员提出的一种基于语言生成轨迹预测的数据生成方法。该数据集创建于近期，由专业研究团队精心构建，旨在解决自动驾驶中车辆轨迹预测问题。数据集包含24万条车辆交互和行为的文本描述，并与相应的地图拓扑结构和车辆轨迹片段配对，为自动驾驶领域提供了丰富的语言描述与轨迹数据资源。该数据集的构建对提升自动驾驶系统在复杂交通环境下的预测准确性具有重要意义，并已在学术界产生积极影响。

当前挑战

L2T数据集在构建和应用过程中面临的挑战主要包括：如何精确地将文本描述的车辆交互转化为车辆行为，并进一步将这些行为转化为轨迹参数；如何保证生成的轨迹在多样化交通场景中具有良好的泛化能力；以及在模型训练过程中，如何有效利用L2T数据集提高轨迹预测模型的性能，减少预测中的碰撞、无交互和偏离道路等问题。此外，数据集的构建还需克服技术难题，如确保不同地图拓扑和交互行为组合的数据平衡性和代表性。

常用场景

经典使用场景

Language-to-Trajectory (L2T)数据集在自动驾驶领域中被广泛用于生成车辆轨迹。该数据集的核心应用场景在于，将文本描述的车辆交互转化为车辆行为，进而将这些行为翻译为连续的运动参数，以表征车辆的轨迹。这种两阶段的“交互-行为-轨迹”翻译机制，为自动驾驶系统中的轨迹预测提供了重要的数据支持。

解决学术问题

该数据集解决了自动驾驶研究中轨迹预测的准确性问题。通过将文本描述的车辆交互转化为轨迹，L2T数据集为训练轨迹预测模型提供了丰富的、多样化的数据源。此外，加入由Traj-LLM生成的轨迹进行训练，可以显著减少轨迹预测任务中的碰撞、无交互和偏离道路的情况，从而提高轨迹预测的准确性和可靠性。

衍生相关工作

L2T数据集的创建不仅推动了自动驾驶领域的研究，还衍生了一系列相关工作。例如，基于L2T数据集的Traj-LLM模型，以及使用L2T数据集进行训练的轨迹预测模型MTR等，这些工作进一步拓展了L2T数据集的应用范围，为自动驾驶技术的发展提供了新的视角和方法。