TWICE Dataset

TWICE数据集是由CARISSMA自动驾驶研究所开发的，旨在为自动驾驶车辆在恶劣天气条件下的安全可靠操作提供支持。该数据集包含在真实测试赛道上收集的传感器数据，并在实验室中重现相同的测试场景。数据集包括相机、雷达、激光雷达、惯性测量单元和GPS数据，记录了在雨天、夜间和雪天等恶劣天气条件下的情况。数据集总记录时长超过2小时，数据量超过280GB，适用于自动驾驶领域的研究人员测试和改进算法，以及探索模拟与现实之间的差距。The TWICE dataset was developed by the CARISSMA Institute of Autonomous Driving to support the safe and reliable operation of autonomous vehicles under adverse weather conditions. The dataset encompasses sensor data collected on real-world test tracks, alongside replicated versions of the same test scenarios conducted in a laboratory environment. It includes data from cameras, radar, LiDAR, inertial measurement units (IMUs), and GPS devices, recording scenarios under adverse weather conditions such as rainy days, nighttime, and snowy days. The total recording duration of the dataset exceeds 2 hours, with an overall data volume surpassing 280 GB. It is suitable for researchers in the autonomous driving domain to test and optimize their algorithms, as well as to investigate the gap between simulation and real-world scenarios.

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，恶劣天气条件下的算法可靠性验证一直是技术发展的关键瓶颈。TWICE数据集通过双环境数据采集策略，系统性地构建了真实测试场与实验室数字孪生体的平行数据流。研究团队在CARISSMA专用测试场部署了搭载多模态传感器（相机、雷达、激光雷达、IMU、GNSS）的智能车辆，针对Euro NCAP标准启发的八类测试场景，在昼夜、雨雪等气象条件下采集原始数据。实验室端则通过硬件在环系统，利用直接数据注入与空中传输两种相机仿真方案，配合雷达波模拟技术，在受控环境中复现完全一致的数字孪生测试序列。

使用方法

研究者可通过数据集官网获取按场景-天气-数据源三维度组织的分层目录结构。利用配套的Python工具包可直接解析OSI格式的传感器数据流，实现多模态数据的时空对齐与可视化。标注数据以JSON格式存储，支持将三维立方体投影至图像平面生成带真值标注的视频序列。雷达数据可与载体轨迹同步展示，支持点云与目标列表两种表征形式的对比分析。该架构特别适用于跨域感知算法验证、传感器仿真保真度评估以及恶劣天气条件下的鲁棒性测试等研究场景。

背景与挑战

背景概述

随着自动驾驶技术的迅猛发展，确保车辆在恶劣天气条件下的安全可靠运行成为亟待解决的核心难题。TWICE数据集由CARISSMA自动驾驶研究所、帕拉纳联邦大学及哈根大学的研究团队于2023年联合创建，旨在提供一套在真实测试场与实验室硬件在环环境中同步采集的多模态传感器数据。该数据集涵盖雨、夜、雪等多种不利天气场景，并包含受欧洲新车评估计划启发的测试用例，如车辆与行人、自行车及卡车的交互情境。通过构建真实场景的数字孪生体，TWICE不仅为自动驾驶算法的鲁棒性评估提供了丰富资源，还推动了仿真与现实间差距的探索，对提升自动驾驶系统在复杂环境中的感知能力具有重要价值。

当前挑战

在自动驾驶领域，恶劣天气下的环境感知始终是算法面临的主要挑战，具体表现为传感器信号衰减、目标特征模糊及动态场景复杂性增加等问题。TWICE数据集针对这些难题，通过集成相机、雷达、激光雷达与惯性测量单元等多源数据，为算法在雨雪、低光照条件下的性能优化提供了基准。在数据集构建过程中，研究团队需克服多项技术障碍：包括在可控环境中精确模拟自然降雨的粒径分布，确保实验室中雷达与相机的硬件在环刺激与真实数据的一致性，以及多传感器时空同步与标定的精度维护。此外，数据标注需借助地面真值投影与目标检测算法的交叉验证，以保障标注质量，这些过程均对数据集的可靠性与实用性提出了较高要求。

常用场景

经典使用场景

在自动驾驶领域，恶劣天气条件下的环境感知算法验证一直是研究难点。TWICE数据集通过提供真实测试场地与实验室硬件在环环境下的同步传感器数据，为算法开发与测试提供了经典场景。该数据集涵盖了雨天、夜间及雪天等多种不利天气条件，并包含汽车、行人、自行车及卡车等目标对象，这些场景设计灵感源自欧洲新车评估计划，确保了测试的标准化与可比性。研究人员可利用该数据集进行感知算法的鲁棒性评估，特别是在传感器融合、目标检测与跟踪等任务中，模拟与真实数据之间的对比分析成为核心应用。

解决学术问题

TWICE数据集主要解决了自动驾驶研究中恶劣天气下算法性能下降的学术问题。传统数据集如KITTI或nuScenes虽提供了丰富数据，但在极端天气条件下的覆盖有限，导致算法在现实环境中的泛化能力不足。该数据集通过同步采集真实与合成数据，为探索仿真到现实的差距提供了实证基础，有助于研究传感器在雨雪、低光照等条件下的退化模型。此外，数据集支持多模态感知研究，包括相机、雷达、激光雷达及惯性测量单元的数据融合，为提升自动驾驶系统在复杂环境中的可靠性与安全性提供了关键数据支撑。

实际应用

在实际应用中，TWICE数据集被广泛用于自动驾驶系统的测试与验证环节。汽车制造商与科技公司可利用该数据集进行硬件在环测试，模拟各种恶劣天气场景，从而减少实地测试的成本与风险。例如，在高级驾驶辅助系统的开发中，数据集帮助工程师优化传感器配置，改进目标检测算法在雨雪天气下的性能。此外，该数据集支持法规符合性测试，如欧洲新车评估计划的碰撞预警系统评估，为自动驾驶技术的商业化落地提供了标准化测试依据。

数据集最近研究

最新研究方向

在自动驾驶领域，恶劣天气条件下的感知可靠性一直是技术突破的关键瓶颈。TWICE数据集以其独特的数字孪生架构，为研究者提供了真实测试场与硬件在环实验室同步采集的多模态传感器数据，涵盖雨、雪、夜间等多种不利环境。该数据集的前沿研究聚焦于仿真与现实之间的域适应问题，通过对比真实与合成数据，推动感知算法在复杂气象条件下的泛化能力。其与EURONCAP测试场景的紧密结合，进一步促进了自动驾驶安全评估体系的标准化进程，为行业提供了可复现、可扩展的验证平台，加速了全天候自动驾驶系统的落地应用。

相关研究论文

• TWICE Dataset: Digital Twin of Test Scenarios in a Controlled Environment

  CARISSMA自动驾驶研究所 (C-IAD) · 2023年