EventDC-Real, EventDC-SemiSyn, EventDC-FullSyn

EventDC数据集是首个基于事件的深度完成基准，包括一个真实世界数据集EventDC-Real，一个半合成数据集EventDC-SemiSyn和一个完全合成数据集EventDC-FullSyn。这些数据集旨在为动态场景下的深度完成研究提供支持。数据集包含彩色图像、深度传感器数据和事件相机数据，可用于训练和测试基于事件的深度完成算法。该数据集对于促进动态场景深度完成的研究具有重要意义。

EventDC dataset is the first event-based depth completion benchmark, which includes a real-world dataset EventDC-Real, a semi-synthetic dataset EventDC-SemiSyn, and a fully synthetic dataset EventDC-FullSyn. These datasets are designed to support research on depth completion in dynamic scenes. The dataset contains color images, depth sensor data, and event camera data, which can be used to train and test event-based depth completion algorithms. This dataset is of great significance for promoting research on depth completion in dynamic scenes.

搜集汇总

数据集介绍

构建方式

EventDC数据集通过多模态传感器融合构建，包含真实世界(EventDC-Real)、半合成(EventDC-SemiSyn)和全合成(EventDC-FullSyn)三个子集。真实数据采用FLIR相机、DAVIS346事件传感器和Ouster激光雷达同步采集，通过16线激光雷达子采样生成稀疏深度；半合成数据基于KITTI数据集，使用VID2E模拟事件流并施加径向运动模糊增强动态效果；全合成数据通过CARLA仿真引擎生成，采用类似的运动模糊处理策略。所有数据分辨率均裁剪为32的整数倍以确保网络训练兼容性，构建过程中特别注重动态场景下传感器时空对齐的精确性。

特点

该数据集首创性地整合了事件相机的高时空分辨率特性与RGB-D传感器的场景感知能力，针对动态场景的深度补全任务提供多模态基准。EventDC-Real包含14,845训练样本和1,000测试样本，具有真实世界的运动模糊和传感器噪声；EventDC-SemiSyn通过7,094个合成事件帧扩展了KITTI的动态特性；EventDC-FullSyn则提供21,000个完全可控的仿真样本。三者在时空分辨率、运动模式和数据分布上形成互补，特别强调快速自我运动和物体运动条件下的深度估计挑战，为算法鲁棒性评估提供多维度的测试环境。

使用方法

使用该数据集时建议采用论文提出的EventDC框架作为基线，其包含事件调制对齐(EMA)和局部深度滤波(LDF)两个核心模块。训练阶段需同步加载RGB图像、稀疏深度和事件流三模态数据，通过AdamW优化器和OneCycle学习率策略进行端到端训练，推荐批量大小为2/GPU。评估时采用RMSE、MAE、REL和δ精度等标准度量，特别注意动态区域的深度恢复质量。对于跨数据集验证，可利用半合成和全合成数据预训练后再在真实数据上微调，以缓解域偏移问题。数据已预处理为PyTorch兼容格式，可直接输入网络进行多模态特征提取和融合。

背景与挑战

背景概述

EventDC-Real、EventDC-SemiSyn和EventDC-FullSyn是由新加坡国立大学、伦敦大学学院和南京理工大学的研究团队于2025年提出的首个基于事件相机的深度补全基准数据集。该数据集旨在解决动态场景下传统RGB-D传感器因快速自我运动和物体运动导致的深度补全质量下降问题。事件相机凭借其高时间分辨率和像素级运动敏感性，为动态环境提供了互补信息。这一数据集的建立填补了事件相机在深度补全领域的研究空白，为自动驾驶、增强现实等应用场景提供了重要的数据支持。

当前挑战

该数据集面临的挑战主要体现在两个方面：领域问题方面，动态场景中的快速运动和运动模糊导致传统RGB-D传感器难以精确对齐和捕捉可靠的深度信息，尤其在物体运动区域深度预测准确性显著下降；构建过程方面，事件相机数据与传统传感器的时空对齐、真实场景数据采集的复杂性，以及合成数据与真实数据的域差异等问题增加了数据集构建的难度。此外，如何有效融合多模态数据（事件流、RGB图像和稀疏深度）以提升深度补全性能也是核心挑战之一。

常用场景

经典使用场景

EventDC系列数据集在动态场景深度补全研究中扮演着关键角色，尤其适用于处理高速自我运动和物体运动带来的挑战。这些数据集通过整合事件相机的高时间分辨率数据与传统RGB-D传感器的空间信息，为研究多模态数据融合提供了理想平台。在自动驾驶和机器人导航等需要实时深度感知的领域，EventDC数据集能够有效支持算法在运动模糊和快速动态环境下的性能验证。

解决学术问题

该数据集解决了动态场景中深度补全的核心难题：传统RGB-D传感器在快速运动时产生的数据失准问题。通过引入事件流数据，显著改善了因运动模糊导致的深度信息缺失，为学术界提供了研究时空一致性建模的新途径。其多模态特性推动了跨模态特征对齐、运动感知掩码学习等方向的发展，填补了事件相机在深度补全领域的数据空白。

衍生相关工作

该数据集催生了多项创新研究，包括事件调制的可变形卷积网络（EMA）和局部深度滤波（LDF）等核心方法。基于EventDC的基准测试推动了如Event-MoDepth等跨模态融合框架的发展，并启发了将脉冲神经网络与时序Transformer结合的新型架构。相关成果已延伸至光流估计、动态物体分割等相邻研究方向。