IEDD: An Interaction-Enhanced Driving Dataset for Autonomous Driving

IEDD是一个用于自动驾驶的交互增强驾驶数据集，包含官方的代码和数据集准备步骤，支持从原始数据预处理到生成视觉剪辑和动作语义的完整流程。

IEDD is an interactive enhanced driving dataset for autonomous driving. It includes official code and dataset preparation steps, and supports the full end-to-end pipeline from raw data preprocessing to the generation of visual clips and action semantics.

原始信息汇总

IEDD: 交互增强型自动驾驶数据集概述

数据集基本信息

• 数据集名称: IEDD (Interaction-Enhanced Driving Dataset)
• 核心用途: 用于自动驾驶研究，特别关注交互增强。
• 关联论文: "IEDD: An Interaction-Enhanced Driving Dataset for Autonomous Driving"

数据集构成与获取

• 主要数据来源: 基于多种原始驾驶数据集，需通过 trajdata 库处理成缓存格式。
• 标注文件 (CSV):
  • 包含 IEDD 和 IEDD-VQA 的 CSV 标注文件。
  • 官方发布地址:
    • Zenodo: https://doi.org/10.5281/zenodo.18742437
    • Hugging Face: https://huggingface.co/datasets/Egikk/IEDD
• 数据目录结构:
  • root_dir/: 存放处理后的轨迹数据缓存。
  • csv_dir/: 存放从上述链接下载的 CSV 标注文件。

数据集处理与构建流程

1. 准备轨迹数据缓存:
   • 下载并预处理原始数据集至 root_dir/，使其符合 trajdata.UnifiedDataset(...) 加载格式。
2. 生成视觉片段与动作语义:
   • 输入: root_dir/ 和 csv_dir/。
   • 输出: 鸟瞰图视频和动作语义 JSON 文件 (*.actions.json)。
   • 工具脚本: IEDD-traj2VisAct.py。
3. 构建问答数据 (Q1–Q5):
   • 输入: root_dir/、动作语义目录和（可选的）视频目录。
   • 输出: ShareGPT 格式的 JSON 文件。
   • 工具脚本: IEDD-2vqa.py。
4. 添加反事实推理问题 (Q6):
   • 输入: 上一步生成的 Q1–Q5 JSON 文件。
   • 输出: 完整的 IEDD-VQA_test JSON 文件（包含 Q1–Q6）。
   • 工具脚本: IEDD-traj2Q6.py。

评估基准

• 评估数据集: IEDD-VQA_test (包含 Q1–Q6)。
• 评估工具: IEDD-benchmark.py。
• 评估准备:
  • 需设置 OpenRouter API 密钥。
  • 在脚本中配置输入 JSON 路径、待评估模型列表等参数。

环境与依赖

• 推荐 Python 版本: 3.10。
• 依赖安装: 通过 pip install -r requirements.txt 安装。

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，高质量的交互数据对于提升智能体决策能力至关重要。IEDD数据集的构建过程依托于轨迹数据缓存技术，首先从多个原始驾驶数据集中提取并预处理轨迹信息，形成统一的缓存格式。随后，通过专门的脚本将轨迹数据转化为鸟瞰视角视频片段，并同步提取关键的动作语义信息，生成结构化的JSON文件。这一流程确保了视觉与行为数据的紧密对齐，为后续的问答对构建奠定了坚实基础。

使用方法

研究人员可通过下载公开的轨迹缓存与CSV标注文件，利用提供的Python脚本逐步生成视觉剪辑、动作语义及问答数据。具体而言，先配置环境与依赖，运行轨迹至视觉动作的转换脚本；接着构建基于ShareGPT格式的问答对；最后加入反事实问题以形成完整的测试集。完成数据准备后，可借助基准评估脚本，对接各类视觉语言模型进行系统性性能测试，从而推动自动驾驶推理技术的迭代与优化。

背景与挑战

背景概述

自动驾驶领域长期致力于提升智能体在复杂交通环境中的决策与交互能力，传统数据集多侧重于静态场景感知或单一车辆轨迹预测，难以充分捕捉动态交互行为。IEDD数据集由研究团队于近期创建，旨在填补交互增强型驾驶数据资源的空白，其核心研究问题聚焦于如何通过多模态数据融合与反事实推理，深入理解车辆与行人、其他道路使用者之间的互动机制。该数据集通过整合鸟瞰视角视频、动作语义及结构化问答对，为开发更安全、可靠的自动驾驶系统提供了关键支撑，推动了交互建模与因果推理在智能交通领域的应用发展。

当前挑战

在自动驾驶领域，准确理解并预测动态交互行为是核心挑战之一，现有方法常受限于对复杂场景中多智能体意图与因果关系的建模能力。IEDD数据集针对交互增强的视觉问答任务，需解决从高维时空数据中提取可解释语义、生成反事实推理问题等难题。构建过程中，团队面临多源异构数据对齐、大规模轨迹数据的高效渲染与标注，以及确保反事实场景的合理性与多样性等技术障碍，这些挑战对数据集的可靠性、泛化性提出了严格要求。

常用场景

经典使用场景

在自动驾驶研究领域，交互行为理解是提升智能体决策安全性与可靠性的核心挑战。IEDD数据集通过融合鸟瞰视角视频与结构化动作语义，为多模态推理任务提供了丰富的数据基础。其经典使用场景在于支持视觉问答基准测试，研究者可基于该数据集构建交互增强的驾驶场景，评估模型在复杂交通环境下的感知与推理能力，从而推动端到端自动驾驶系统的算法优化。

解决学术问题

传统自动驾驶数据集往往侧重于单一模态的感知任务，缺乏对动态交互行为的深度刻画。IEDD数据集通过整合轨迹数据、视觉片段与反事实推理问题，系统性地解决了多智能体交互建模、驾驶意图预测以及因果推理等关键学术问题。该数据集不仅填补了交互增强数据资源的空白，还为构建可解释、鲁棒的自动驾驶认知框架提供了实证基础，促进了学术界对复杂驾驶场景中行为理解与决策机制的理论探索。

实际应用

在实际自动驾驶系统开发中，场景理解与安全验证依赖于高质量、多样化的交互数据。IEDD数据集通过提供大规模的真实世界驾驶交互标注，可直接应用于自动驾驶仿真测试、决策规划模块的验证以及人机共驾系统的行为预测。例如，工程师可利用其反事实推理数据对系统进行边缘案例测试，评估在异常交互情境下的应对策略，从而降低实车路测风险，加速自动驾驶技术的商业化落地进程。

数据集最近研究

最新研究方向

在自动驾驶领域，交互理解已成为提升系统安全性与智能性的核心挑战。IEDD数据集通过融合轨迹数据与视觉动作语义，为交互增强的驾驶场景分析提供了结构化基准。前沿研究聚焦于利用该数据集开发多模态推理模型，以应对复杂交通环境中的反事实推理与决策预测问题。热点事件如大型语言模型与视觉语言模型在自动驾驶任务中的集成，进一步推动了基于IEDD的端到端评估框架发展，其影响体现在促进仿真测试标准化与交互行为建模的精细化，为下一代自动驾驶系统的可解释性与泛化能力奠定数据基础。