MultiDensity Rendered (MDR) event optical flow dataset

MDR数据集是由中国电子科技大学和Megvii Technology合作创建的，旨在解决从事件相机中估计光流的问题。该数据集包含80,000个样本，来自53个虚拟场景，每个样本都包含了精确的事件和流标签。数据集的创建过程涉及使用Blender渲染3D场景，包括室内外环境，以及多样化的相机运动，以生成高帧率视频和准确的流标签。MDR数据集不仅适用于光流学习，还能通过其自适应密度模块(ADM)进一步提高性能，该模块能够根据需要调整事件的密度，适用于各种基于事件的任务。The MDR dataset was co-developed by the University of Electronic Science and Technology of China and Megvii Technology, aiming to address the problem of optical flow estimation from event cameras. This dataset consists of 80,000 samples sourced from 53 virtual scenarios, with each sample containing precise event and optical flow ground-truth labels. The construction of the MDR dataset involves using Blender to render 3D scenes covering both indoor and outdoor environments, as well as diverse camera motions, to generate high-frame-rate videos and accurate optical flow ground-truth labels. The MDR dataset is not only applicable to optical flow learning, but also can further enhance model performance via its Adaptive Density Module (ADM), which can adjust event density as needed and is suitable for various event-based tasks.

搜集汇总

数据集介绍

构建方式

在事件相机光流估计领域，构建高质量数据集面临真实采集与合成方法各自的局限性。MDR数据集采用计算机图形学渲染技术，通过Blender引擎创建了涵盖室内外场景的53个虚拟三维环境，并模拟多样化相机运动轨迹。基于物理正确的渲染流程，首先生成两帧图像及对应的密集光流真值；随后依据光流幅度自适应采样，渲染15至60帧高帧率中间视频；最终通过阈值化对数强度变化模拟事件触发机制，生成精确的事件流，且事件密度可通过阈值灵活调控。

特点

MDR数据集的核心特点在于其物理正确性与高精度标签。相较于真实采集数据集的稀疏光流标签或合成数据集中因插值导致的事件误差，MDR通过图形渲染确保了事件值与光流真值在几何与运动层面的一致性。数据集包含80,000个样本，覆盖广泛的事件密度范围，为模型训练提供了丰富的密度变化场景。此外，其合成的密集光流标签克服了传统方法中因传感器稀疏性或遮挡插值错误带来的局限性，为监督学习提供了可靠基础。

使用方法

该数据集主要用于监督学习框架下事件相机光流估计模型的训练与验证。研究人员可直接使用其提供的事件流与对应的密集光流真值进行端到端训练，以提升模型在真实场景如MVSEC数据集上的泛化性能。数据集中多密度事件流支持密度自适应模块（ADM）的开发，该模块可作为即插即用组件集成至现有光流网络，通过全局密度调整与像素级选择优化输入事件表示。训练时，建议结合不同密度样本以增强模型鲁棒性，并利用其提供的验证集进行性能评估。

背景与挑战

背景概述

事件相机作为一种新兴的视觉传感器，通过记录像素级亮度变化实现高动态范围与低延迟感知，为计算机视觉领域带来了新的研究范式。然而，基于事件数据的光流估计长期面临高质量训练数据匮乏的挑战。在此背景下，电子科技大学、香港科技大学及旷视科技的研究团队于2023年共同提出了MultiDensity Rendered (MDR) 事件光流数据集。该数据集旨在解决从事件相机中学习稠密光流的核心研究问题，通过计算机图形学渲染技术，在Blender引擎中构建了涵盖室内外场景的53个虚拟环境，生成了包含8万样本的精确事件-光流对。MDR不仅提供了物理正确的稠密光流真值，还能通过调整事件触发阈值灵活控制事件密度，显著提升了事件光流模型的训练效果与泛化能力，对自动驾驶、机器人导航等依赖运动感知的领域产生了深远影响。

当前挑战

MDR数据集致力于解决事件相机光流估计领域的双重挑战。在领域问题层面，传统方法面临事件稀疏性与光流稠密性之间的矛盾：基于真实捕获的数据集（如MVSEC）虽能提供真实事件，但其光流真值依赖激光雷达等辅助传感器计算，导致标签稀疏且易受遮挡物体影响；而基于前景合成的数据集（如Flying Chairs变体）虽能生成稠密光流，但通过帧插值生成的事件在遮挡区域存在误差，且运动模式缺乏物理真实性。在构建过程层面，研究团队需克服高保真事件生成的复杂性：需在虚拟场景中模拟符合物理规律的相机运动轨迹，并通过自适应采样策略渲染高帧率中间视频，以确保事件时间戳的精确性；同时，还需设计多密度事件生成机制，以覆盖不同事件相机在实际应用中阈值参数的差异，这对渲染管线的计算效率与数据多样性提出了更高要求。

常用场景

经典使用场景

在事件相机光流估计领域，MultiDensity Rendered (MDR) 数据集为深度学习模型提供了高质量的监督训练基础。该数据集通过计算机图形学渲染技术，生成了包含丰富室内外场景、多样化相机运动轨迹的合成数据，其核心应用场景在于训练端到端的事件光流预测网络。研究人员利用MDR提供的精确稠密光流真值与物理正确的合成事件流，能够有效训练模型从事件数据中直接估计像素级运动，避免了传统方法中因稀疏标注或事件生成不准确导致的性能瓶颈。

衍生相关工作

MDR数据集的推出催生了一系列围绕事件光流估计的衍生研究。其提出的自适应密度模块（ADM）被集成至多种主流光流架构中，如FlowFormer、KPA-Flow、GMA与SKFlow，通过全局调整与像素级选择事件密度，显著提升了这些模型在多变事件密度下的性能。此外，基于MDR的监督训练范式促进了纯事件输入稠密光流网络的发展，推动了E-RAFT等方法的演进。这些工作不仅验证了合成渲染数据在事件视觉任务中的有效性，也为后续结合跨模态学习、自监督优化等方向提供了可靠的基准与数据支撑。

数据集最近研究

最新研究方向

在事件相机与光流估计领域，MultiDensity Rendered (MDR) 数据集的推出标志着合成数据生成技术的重大进展。该数据集通过计算机图形渲染技术，构建了包含室内外多样场景的虚拟环境，并模拟了精确的相机运动轨迹，从而生成了物理上准确的事件流与密集光流标签对。这一创新解决了传统数据集在事件值准确性或光流标签密度方面的局限性，为基于事件的光流学习提供了高质量的训练资源。当前前沿研究聚焦于利用MDR数据集训练自适应密度模块（ADM），该模块能动态调整输入事件的密度，以优化光流估计性能。相关热点包括将ADM集成到多种主流光流网络（如FlowFormer、KPA-Flow等）中，显著提升了模型在真实场景数据集（如MVSEC）上的泛化能力与精度。这一进展不仅推动了事件相机在自动驾驶、机器人视觉等应用中的发展，也为合成数据在计算机视觉任务中的有效性提供了实证支持。

相关研究论文

• Learning Optical Flow from Event Camera with Rendered Dataset

  中国电子科技大学 · 2023年