BATON

BATON是由南佛罗里达大学与同济大学联合构建的多模态自然驾驶数据集，旨在研究驾驶员与自动驾驶系统间的双向控制转移行为。该数据集包含380条路线、127名驾驶员的136.6小时驾驶数据，同步采集了前视视频、车内视频、车辆CAN信号、雷达交互及GPS上下文等多模态信息，涵盖1,460次控制权移交（handover）和1,432次接管（takeover）事件。数据通过真实道路环境下的车载设备采集，经时序对齐和事件标注处理，主要用于驾驶行为理解、控制权转移预测等任务，为智能驾驶系统的人机交互设计提供实证支持。

BATON is a multimodal natural driving dataset jointly constructed by the University of South Florida and Tongji University, aiming to investigate the bidirectional control transfer behavior between drivers and autonomous driving systems. This dataset contains 136.6 hours of driving data from 127 drivers across 380 routes, and synchronously collects multimodal information including forward-looking video, in-cabin video, vehicle CAN signals, radar interactions, GPS context and other related data. It covers 1,460 control handover events and 1,432 control takeover events. The data is collected via on-board equipment in real road environments, and processed through temporal alignment and event annotation. It is mainly used for tasks such as driving behavior understanding and control transfer prediction, providing empirical support for the human-computer interaction design of intelligent driving systems.

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，数据采集的真实性与多模态同步性对于研究人机控制转换至关重要。BATON数据集通过安装在车辆前挡风玻璃中央的comma设备，同步采集前视与车内视频流，并结合车载CAN总线解码获取车辆动态信号、雷达前车交互数据以及GPS衍生的路线上下文信息。数据收集过程覆盖了380条路线、127名驾驶员和136.6小时的驾驶时长，经过时间戳对齐与事件过滤，最终构建了包含2,892个控制转换事件的闭环多模态记录。

特点

BATON数据集的核心特点在于其双向控制转换的全面覆盖与多模态数据的深度融合。该数据集不仅同步整合了道路场景视频、驾驶员状态视频、车辆控制信号、雷达交互及路线上下文等多种模态，更专注于捕捉驾驶员向自动化系统移交控制权（handover）与重新接管控制权（takeover）的双向转换事件。其规模与多样性——涵盖不同驾驶员、车辆型号与地理环境——使其超越了局部案例研究，成为一个能够支持驾驶行为理解、移交预测与接管预测统一分析的现实世界基准。

使用方法

为促进驾驶员-自动化交互研究，BATON定义了三个基准任务：驾驶动作理解、控制移交预测与控制接管预测。研究者在统一的协议下，利用同步的多模态观测窗口（如5秒时长）作为输入，可针对不同预测时域（1、3、5秒）训练与评估模型。数据集提供了跨驾驶员、跨车辆及随机划分的官方数据分割，并配套发布了基准代码与评估脚本。用户可通过GitHub获取基准包，或在Hugging Face平台申请访问完整原始数据，以进行模型开发与性能验证。

背景与挑战

背景概述

随着驾驶自动化系统在消费级车辆中的普及，驾驶员与自动化系统之间的控制权转移成为人机交互领域的核心研究问题。现有系统要求驾驶员在启用自动化功能时保持持续警觉并准备随时接管，这带来了显著的认知负荷与安全风险。由南佛罗里达大学与同济大学的研究团队于2026年发布的BATON数据集，旨在填补这一研究空白。该数据集通过自然驾驶场景收集了涵盖380条路线、127名驾驶员、总计136.6小时的多模态同步数据，包括前视视频、舱内视频、车辆CAN信号、雷达交互与GPS上下文。其核心研究目标是深入理解驾驶员向自动化系统移交控制权及重新接管控制权的双向过渡机制，为设计主动、情境感知的人机界面提供实证基础，对提升自动驾驶系统的安全性与用户体验具有重要影响力。

当前挑战

BATON数据集致力于解决驾驶自动化领域中驾驶员与系统间双向控制权转移的预测与理解问题，其核心挑战体现在两方面。在领域问题层面，控制权转移事件具有内在的不对称性：接管事件通常发展更为渐进，需要较长的预测时间窗口；而移交事件则更依赖于即时情境线索，这对统一建模提出了挑战。此外，单一模态信息存在局限性，前视视频缺乏驾驶员状态信息，舱内视频则无法捕捉外部道路场景，如何有效融合多模态信号以捕捉互补信息是实现可靠预测的关键。在数据集构建层面，挑战在于如何在真实驾驶环境中实现多源异构数据的高精度同步，并确保数据在驾驶员、车辆型号及地理路线上的多样性，以反映现实世界的复杂性。同时，处理数据中的类别不平衡问题，以及从海量连续数据流中精准定义和提取稀疏的控制转移事件，也是构建高质量基准测试集的主要难点。

常用场景

经典使用场景

在自动驾驶人机交互研究领域，BATON数据集为双向控制转移分析提供了经典的多模态基准。该数据集通过同步采集前视视频、舱内视频、车辆CAN信号、雷达交互及GPS路线上下文，构建了围绕控制转移事件的闭环观测框架。研究者利用其丰富的多模态数据流，能够深入探究驾驶员在自然驾驶环境下向自动化系统移交控制权或接管车辆时的行为模式与决策机制，为理解人机协同驾驶的动态过程奠定了数据基础。

实际应用

在实际应用层面，BATON数据集为开发下一代情境感知型人机交互系统提供了重要支撑。基于该数据集训练的预测模型可集成至高级驾驶辅助系统中，实现对驾驶员移交或接管意图的提前预判，从而设计出更具主动性与适应性的交互策略。例如，系统可根据预测结果动态调整警示时机或自动化介入程度，以降低因过度依赖或延迟接管引发的安全风险，提升驾驶体验与系统可靠性。此外，该数据集所涵盖的多样化真实驾驶场景也为相关产品的测试验证与性能优化提供了丰富素材。

衍生相关工作

围绕BATON数据集，已衍生出一系列聚焦于多模态融合与时序建模的经典研究工作。这些研究通常借鉴数据集提供的基准框架，开发更为先进的神经网络架构或融合机制，以提升对控制转移事件的预测精度与泛化能力。例如，部分工作探索了基于注意力机制的跨模态特征对齐方法，另一些研究则致力于利用图神经网络建模车辆与环境的交互关系。同时，BATON所揭示的移交与接管事件在时间依赖性上的差异，也激发了关于非对称预测模型与个性化人机交互策略的新方向探索。