DAITS

DAITS（Driver Attention Prediction Dataset）是一个用于驾驶员注意力预测的数据集，源自论文《A Novel Dataset and Model for Driver Attention Prediction in Interactive Dynamic Traffic》。该数据集采集于交互式和动态交通场景，旨在支持对复杂交通交互中驾驶员注意力分配机制的研究。数据集内容全面且多模态，包含：1）分辨率为3840x1080的前视驾驶场景RGB图像和视频（10fps）；2）驾驶员注视点标注（来自多个标注源及融合结果）；3）用于密集监督的灰度注视图和注意力图（分辨率3840x1080），并提供MATLAB矩阵文件；4）融合的LiDAR点云（PCD格式）；5）自车运动状态（一个包含位置、四元数朝向、线速度、线加速度、角速度的16维向量）及高级操纵类别标签（如直线行驶、加速、减速、左转、右转、变道、停车）；6）一个结构化的SQLite元数据库，包含场景、相机、LiDAR、自车位姿、目标轨迹、交通灯状态和场景标签等表格，用于对齐多源数据。数据集按驾驶序列组织，并提供了官方的序列级划分文件（train+val.txt, test.txt），以确保同一序列的数据不会同时出现在训练集和测试集中。该数据集采用CC BY-NC 4.0许可证，仅限非商业研究和教育用途。DAITS (Driver Attention Prediction Dataset) is a dataset for driver attention prediction, originating from the paper "A Novel Dataset and Model for Driver Attention Prediction in Interactive Dynamic Traffic". Collected in interactive and dynamic traffic scenarios, this dataset is intended to support research on the driver attention allocation mechanism in complex traffic interactions. The dataset is comprehensive and multimodal, including the following components: 1) Front-view driving scene RGB images and videos (10 fps) with a resolution of 3840×1080; 2) Driver gaze point annotations from multiple annotation sources and their fusion results; 3) Grayscale gaze maps and attention maps for dense supervision (3840×1080 resolution), with accompanying MATLAB matrix files; 4) Fused LiDAR point clouds in PCD format; 5) Ego-vehicle motion states (a 16-dimensional vector containing position, quaternion orientation, linear velocity, linear acceleration and angular velocity) and high-level maneuver category labels such as straight driving, acceleration, deceleration, left turn, right turn, lane change and parking; 6) A structured SQLite metadata database containing tables for scenarios, cameras, LiDAR, ego-vehicle poses, target trajectories, traffic light states and scenario tags, used to align multi-source data. The dataset is organized by driving sequences, and official sequence-level split files (train+val.txt, test.txt) are provided to ensure that data from the same sequence does not appear in both the training and test sets simultaneously. This dataset is released under the CC BY-NC 4.0 license, and is only permitted for non-commercial research and educational purposes.

原始信息汇总

数据集简介

DAITS (Driver Attention in Interactive Traffic Scenarios) 是一个面向交互动态交通场景的驾驶员注意力预测数据集，源自论文 A Novel Dataset and Model for Driver Attention Prediction in Interactive Dynamic Traffic。该数据集受 NuPlan 格式启发，提供了同步的驾驶场景图像、驾驶员注视标注、注视图、注意力图、点云、自车运动信息、操作标签以及结构化的数据库元数据。

数据集概览

• 下载地址: DAITS
• 设计目标: 支持复杂交通交互中驾驶员注意力分配的研究。
• 样本序列: 示例序列 demo_dataset 包含以下内容：
  • 前视驾驶图像与视频
  • 驾驶员注视点标注
  • 注视图与密集注意力图
  • 合并后的 LiDAR 点云
  • 自车运动状态与操作类别
  • SQLite 数据库（含场景、相机、LiDAR、自车位姿、轨迹、交通灯及场景元数据）
  • MATLAB 矩阵文件（用于像素级注意力监督）

数据划分

DAITS 需使用官方提供的序列级划分文件进行分割，不要随机分割帧，以确保同一驾驶序列的数据不会同时出现在训练集和测试集中。

• 训练+验证集: train+val.txt，包含训练子集的序列名称。
• 测试集: test.txt，包含保留测试子集的序列名称。
• 格式: 每行一个序列名称（例如 boston-1, pittsburgh-2, singapore-4, vegas-0），对应数据集中同名的序列文件夹。

数据结构详情

图像与视频

• image: RGB 驾驶场景图像，分辨率 3840 x 1080。
• 视频文件（如 2021.09.15.12.32.43_veh-28_00708_00866-0.avi）: 驾驶场景视频，分辨率 3840 x 1080，帧率 10 fps，编码格式 Motion JPEG。
• video_files.json: 描述视频序列帧范围的元数据，存储首帧和末帧的文件名。

注视点

• 存储于 gaze_point 目录，JSON 格式：
  • 0_gaze_point.json 至 6_gaze_point.json: 来自不同标注者或源的注视标注。
  • combone_gaze_point.json: 多个源的合并注视标注。

注视图与注意力图

• fixation: 灰度注视图，分辨率 3840 x 1080。
• map: 灰度注意力图或显著性图，分辨率 3840 x 1080。
• mat: MATLAB v5 文件，包含 mat_data，形状 (1080, 3840)，数据类型 uint8，可作为驾驶员注意力预测的密集监督目标。

点云

• MergedPointCloud: 合并后的点云，存储为 PCD v0.7 格式。

运动与操作标签

• 存储于 label 文件，JSON 格式，包含：
  • motion: 16 维向量，描述自车状态：
    • 0:3: 位置 (x, y, z)
    • 3:7: 朝向四元数 (qx, qy, qz, qw)
    • 7:10: 线速度 (vx, vy, vz)
    • 10:13: 线加速度 (ax, ay, az)
    • 13:16: 角速度 (wx, wy, wz)
  • maneuver category: 高层次驾驶行为标签，例如：
    • Straight-line Driving
    • Straight-line Acceleration
    • Straight-line Deceleration
    • Left Turn
    • Right Turn
    • Lane Change
    • Stopping

SQLite 元数据

• .db 文件为 SQLite 数据库，包含结构化场景元数据，示例数据库包括以下表：
  • camera
  • category
  • ego_pose
  • image
  • lidar
  • lidar_box
  • lidar_pc
  • log
  • scenario_tag
  • scene
  • track
  • traffic_light_status
• 用于对齐相机帧、LiDAR 帧、自车位姿、目标轨迹、交通灯状态和场景标签。

许可协议

DAITS 数据集采用 CC BY-NC 4.0 许可证，仅限非商业研究与教育用途。未经作者明确许可，禁止商业使用。

引用信息

若在研究中使用了 DAITS，请引用以下论文：

@article{heNovelDatasetModel2026, title = {A Novel Dataset and Model for Driver Attention Prediction in Interactive Dynamic Traffic}, author = {He, Zhenhao and Li, Qian and Nie, Linzhen and Yin, Zhishuai}, year = {2026}, month = aug, journal = {Expert Systems with Applications}, volume = {323}, pages = {132493}, issn = {0957-4174}, doi = {10.1016/j.eswa.2026.132493} }

搜集汇总

数据集介绍

构建方式

DAITS数据集专为交互式动态交通场景下的驾驶员注意力预测而构建，其设计灵感源自NuPlan数据集的格式范式。数据采集过程中，同步录制了前方道路场景图像、驾驶员注视点标注、融合后的LiDAR点云、自车运动状态以及行为意图标签。构建方式上，数据集以序列为单位进行组织，每个序列包含连续的驾驶片段，并配套提供官方划分的训练验证集与测试集文件，确保同一驾驶序列的数据不会跨集出现，从而避免数据泄露。所有图像、点云和标注数据均经过时间戳对齐与格式统一，形成多模态协同的结构化数据库。

使用方法

DAITS数据集的使用需严格遵循序列级别的划分策略，即依据官方提供的train+val.txt与test.txt文件加载对应的序列名称，而非随机分割帧数据。研究者可直接读取图像与注视点用于注意力预测任务，亦可利用融合点云与运动标签开展多模态融合研究。MATLAB矩阵文件可作为像素级注意力的监督目标，SQLite数据库则支持基于场景、物体或行为标签的结构化检索。推荐使用PyTorch或TensorFlow框架构建数据加载器，按序列名称逐帧读取数据，并配合图像裁剪、通道调整等预处理操作，以适应不同模型的输入要求。

背景与挑战

背景概述

DAITS数据集由Zhenhao He、Qian Li、Linzhen Nie和Zhishuai Yin等人于2026年提出，旨在解决交互式动态交通场景中驾驶员注意力预测这一前沿课题。现有驾驶员注意力数据集大多局限于单一驾驶环境或简单交通流，难以捕捉复杂交通互动中人眼注视的动态分配机制。DAITS借鉴NuPlan数据集的结构化设计理念，首次在交互式动态交通场景下同步采集了高清驾驶图像、三维激光雷达点云、自车运动状态与操作类别标签，并提供了注视点、注视图及密集注意力图等多层次标注。该数据集涵盖波士顿、匹兹堡、新加坡等多个城市的真实驾驶环境，为理解驾驶员在复杂交通互动中的注意力分配规律提供了标准化基准，显著推动了自动驾驶人机交互与驾驶行为分析领域的发展。

当前挑战

DAITS所应对的核心领域挑战在于：现有模型在简单场景下表现良好，但在多车交互、变道、转弯等动态交通情境中难以准确预测驾驶员注意力转移规律，尤其是涉及行人、非机动车与交通信号灯的复杂场景。构建过程中的挑战主要体现在多模态数据的高精度时空对齐，需将3840×1080分辨率的路面图像、10Hz视频流、多线激光雷达点云、自车轨迹与操作标签精确同步至帧级别。此外，多源驾驶员注视点标注的融合处理（combone_gaze_point.json）需要克服个体注视偏差与时间异步问题，而密集注意力图的像素级监督信号生成则要求对场景语义与驾驶任务进行综合建模，这对数据采集方案与标注标准提出了极高要求。

常用场景

经典使用场景

DAITS数据集专为交互式动态交通场景下的驾驶员注意力预测任务而构建，其经典用途在于利用高分辨率前视驾驶图像、驾驶员注视点标注、稠密注意力图及点云等多模态数据，训练模型以精准预测驾驶员在复杂交通交互中的视觉注意力分布。研究者可借助该数据集提供的序列级划分文件，确保训练与测试数据源自不同驾驶序列，从而有效评估模型在未见场景中的泛化能力。数据集中的融合标注与运动状态信息，使得模型能够同时学习视觉特征与自车行为对注意力分配的联合影响，为动态交通环境下的注意力建模奠定了坚实基础。

解决学术问题

该数据集解决了现有驾驶员注意力预测研究中缺乏真实交互动态场景标注的问题，填补了静态或简单场景数据集无法反映复杂交通交互对注意力影响的空白。通过提供同步的注视点、注意力图、自车运动及操作类别标签，DAITS支持学者深入探索交通参与者交互、道路结构及自车行为如何协同塑造驾驶员的视觉注意机制。其丰富的元数据还促进了多模态融合方法的研发，推动了注意力预测模型在实际交通环境中的鲁棒性与可信度提升，对理解人类驾驶认知过程、优化人机共驾系统具有重要的学术意义。

实际应用

在实际应用层面，DAITS数据集为高级驾驶辅助系统和自动驾驶技术的发展提供了关键支撑。基于该数据集训练的驾驶员注意力预测模型可集成到车载监控系统中，实时检测驾驶员是否关注关键交通要素（如行人、前方车辆或信号灯），从而在注意力分散时触发预警。此外，该数据集还可用于训练类人驾驶模型，使自动驾驶车辆的感知规划策略更贴近人类驾驶员的注意力分配模式，提升人机共驾的自然性与安全性。其高分辨率图像与点云数据也为仿真测试和驾驶行为分析提供了高质量基准。

数据集最近研究

最新研究方向

DAITS数据集聚焦于交互动态交通场景中的驾驶员注意力预测，融合了多模态传感器数据与结构化行为标签，成为自动驾驶人机协同研究的前沿基准。当前热点方向包括：基于注意力分布与车流交互的因果推断模型、融合LiDAR点云与驾驶视频的跨模态注意力图生成，以及利用SQLite场景元数据进行长期时序注意力建模。该数据集填补了复杂动态交互场景下注意力标注的空白，支持从驾驶意图识别到安全态势评估的闭环研究，对提升自动驾驶系统的可解释性与人因安全性具有显著推动作用。