动态场景下的监督原始视频去噪基准数据集

动态场景下的监督原始视频去噪基准数据集由天津大学电气与信息工程学院创建，包含55组噪声-干净视频对，覆盖ISO值从1600到25600。数据集通过控制对象如玩具的运动，多次捕捉静态瞬间以生成干净视频帧。该数据集是首个包含噪声-干净对的动态视频数据集，旨在解决动态场景下视频去噪的难题，支持利用时间相关性进行去噪，并实现对真实噪声视频的定量评估。The supervised raw video denoising benchmark dataset for dynamic scenes was created by the School of Electrical and Information Engineering, Tianjin University. It includes 55 pairs of noisy-clean videos, with ISO values ranging from 1600 to 25600. The dataset generates clean video frames by capturing static instants multiple times while controlling the movement of objects such as toys. As the first dynamic video dataset with noisy-clean pairs, it aims to address the challenges of video denoising in dynamic scenes, support denoising by leveraging temporal correlations, and enable quantitative evaluation of real noisy videos.

搜集汇总

数据集介绍

构建方式

在低光照视频去噪领域，动态场景的干净帧获取长期面临技术瓶颈。该数据集通过创新性采集策略解决了这一难题：采用可控物体（如玩具）模拟动态过程，对每个静态瞬间进行多次短曝光高ISO拍摄，将多帧平均结果作为干净帧。通过手动移动物体并重复此流程，最终按时间顺序组合成55组噪声-干净视频对，ISO范围覆盖1600至25600。室内场景采用固定三脚架确保帧对齐，室外场景则补充了50组动态视频用于模型测试。

使用方法

该数据集为原始视频去噪算法的训练与评估提供了标准化平台。研究者可采用端到端训练策略，将原始拜耳视频按RGBG通道拆分为四个子序列，分别输入去噪网络进行联合优化。在预处理阶段需进行黑电平校正与白平衡归一化，训练时可结合合成数据预训练与真实数据微调的两阶段策略。评估时可通过峰值信噪比与结构相似性指标在原始域和sRGB域进行双重验证，同时利用无真实标注的室外视频进行视觉质量评估。数据集支持灵活的图像信号处理模块集成，允许用户根据偏好生成不同风格的sRGB结果。

背景与挑战

背景概述

在低光照条件下捕获视频时，高ISO设置会引入显著噪声，严重影响视觉质量与后续分析。传统视频去噪方法多针对高斯噪声设计，而真实噪声因图像信号处理（ISP）的非线性特性更为复杂。2020年，天津大学的研究团队发布了首个动态场景下的监督原始视频去噪基准数据集，旨在解决真实噪声视频对缺失的难题。该数据集通过手动控制物体运动，对每个静态瞬间多次捕获以生成干净帧，包含55组ISO值从1600至25600的噪声-干净视频对，为原始视频去噪研究提供了关键数据支持，推动了低光视频增强领域的发展。

当前挑战

该数据集旨在解决动态场景下原始视频的真实噪声去除问题，其核心挑战在于动态场景中无法通过长曝光或多帧平均直接获取干净视频帧，这限制了监督学习方法的训练与评估。构建过程中，研究人员面临如何同步捕获噪声视频与对应干净视频的难题，需通过手动控制物体运动并多次拍摄同一瞬间，同时确保帧间对齐与亮度一致性。此外，原始数据的拜耳模式处理、噪声统计建模以及室外场景数据扩展也增加了数据采集与处理的复杂性。

常用场景

经典使用场景

在低光照计算机视觉领域，动态场景下的监督原始视频去噪基准数据集为训练和评估深度去噪模型提供了关键支持。该数据集通过精心设计的采集方法，为动态场景生成了成对的含噪-干净视频序列，使得研究者能够利用其时序相关性进行监督学习。其最经典的使用场景在于训练端到端的原始视频去噪网络，如论文中提出的RViDeNet，通过探索视频帧间的时间、空间及通道相关性，直接从含噪的原始Bayer模式数据中恢复出高质量的无噪帧。

解决学术问题

该数据集有效解决了真实世界动态视频去噪研究中缺乏高质量基准数据的核心难题。传统方法因无法为动态场景获取长曝光或无模糊的干净帧而受限，本数据集通过为可控物体创建运动并多次捕捉同一瞬间的策略，生成了首个动态的原始视频含噪-干净对。这使研究者能够定量评估算法性能，并推动监督学习策略在真实噪声去除中的应用，弥合了静态图像去噪与动态视频处理之间的研究鸿沟。

实际应用

在实际应用中，该数据集支撑的技术可显著提升低光照条件下拍摄视频的视觉质量，广泛应用于监控安防、移动摄影、自动驾驶及医学成像等领域。例如，在夜间监控场景中，基于此数据集训练的模型能够有效抑制由高ISO设置引入的复杂噪声，恢复出清晰的运动物体细节，为后续的行为分析、目标跟踪等高层视觉任务提供更可靠的输入。其输出的原始域与sRGB域双重结果也为不同图像信号处理管线提供了灵活性。

数据集最近研究

最新研究方向

在低光视频增强领域，动态场景下的监督原始视频去噪基准数据集推动了前沿研究，聚焦于利用原始传感器数据的噪声统计特性，结合时空相关性进行深度网络建模。当前热点集中于开发端到端的原始视频去噪网络，如RViDeNet，通过分解Bayer模式为RGBG子序列，并整合非局部注意力机制与可变形卷积对齐，以提升去噪性能与时间一致性。这一方向不仅促进了真实噪声去除的定量评估，还支持灵活的图像信号处理模块集成，为智能手机与监控摄像头的低光视频质量优化提供了关键技术支持，具有显著的工业应用潜力。

相关研究论文

• Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes

  天津大学电气与信息工程学院 · 2020年