RAW-Bench

RAW-Bench是一个综合性的基准数据集，由东京大学的研究团队创建，旨在评估当前基于RAW的视觉框架在各种退化情况下的性能。该数据集包括17种影响RAW视觉性能的常见退化类型，涵盖了光照退化、天气效应、模糊、相机成像退化以及相机颜色响应的变化。这些退化类型的设计考虑了真实世界中的多种场景，以全面评估模型在领域内和领域外的性能表现。RAW-Bench is a comprehensive benchmark dataset developed by a research team from The University of Tokyo, which is designed to evaluate the performance of current RAW-based visual frameworks under various degradation scenarios. The dataset includes 17 common degradation types that affect RAW visual performance, covering illumination degradation, weather effects, blurring, camera imaging degradation, and variations in camera color response. The design of these degradation types takes into account multiple real-world scenarios to enable comprehensive evaluation of model performance both in-domain and out-of-domain.

搜集汇总

数据集介绍

构建方式

RAW-Bench数据集的构建基于对RAW图像在多种真实场景下物理细节的保留需求，通过系统性地引入17种常见退化类型，包括光照退化、天气效应、模糊、相机成像退化以及相机色彩响应变化等。该数据集在PASCAL RAW和iPhone XS Max等正常条件下拍摄的数据集基础上，通过合成技术模拟了各种退化场景，确保了数据集的多样性和广泛适用性。构建过程中，特别考虑了RAW图像与sRGB预训练模型之间的领域差距，以及传统ISP流程对机器视觉任务的潜在负面影响。

特点

RAW-Bench数据集的核心特点在于其全面覆盖了RAW图像可能遇到的各种退化情况，包括但不限于低光照、过曝、镜头眩光、雾、雨、雪、运动模糊、传感器噪声等。这些退化类型被系统地组织成一个统一的基准，能够有效评估模型在域内（ID）和域外（OOD）场景下的性能。此外，数据集还特别关注了不同相机传感器之间的色彩响应差异，为跨传感器性能评估提供了独特价值。数据集的构建充分考虑了RAW图像与sRGB图像之间的本质差异，为研究社区提供了一个专门针对RAW图像视觉任务的标准化评估平台。

使用方法

RAW-Bench数据集的使用方法主要包括三个层面：首先，作为评估基准，研究人员可以利用该数据集系统比较不同RAW图像处理算法和视觉模型在各种退化条件下的性能表现；其次，数据集支持对模型鲁棒性的全面测试，特别是在光照变化、天气条件和传感器差异等挑战性场景下；最后，数据集还可用于开发新的数据增强策略，如论文中提出的基于RAW的数据增强方法，该方法通过亮度变化、色度增强和质量退化等操作，显著提升了模型的泛化能力。在使用时，建议结合特定的评估指标如mAP（目标检测）和mIoU（语义分割），并考虑CD（Corruption Degradation）和rCD（relative Corruption Degradation）等鲁棒性指标进行全面分析。

背景与挑战

背景概述

RAW-Bench数据集由Ziteng Cui、Jianfei Yang和Tatsuya Harada于2025年提出，旨在解决计算机视觉领域中预训练视觉模型对sRGB图像的依赖问题，以及如何有效利用相机RAW图像中丰富的物理细节。该数据集包含了17种RAW图像常见的退化类型，如光照退化、天气效应、模糊、相机成像退化以及相机色彩响应变化等，为研究者提供了一个系统评估RAW图像处理算法性能的平台。RAW-Bench的提出填补了RAW图像在计算机视觉任务中缺乏系统性评估工具的空白，对推动RAW图像在自动驾驶、野生动物监测等领域的应用具有重要意义。

当前挑战

RAW-Bench面临的挑战主要包括两个方面：首先，在领域问题方面，该数据集旨在解决如何将预训练的sRGB模型有效应用于RAW图像的问题，克服sRGB与RAW图像之间的域差距，同时保留RAW图像中的丰富物理细节。其次，在构建过程中，研究人员需要处理RAW图像的高动态范围和线性特性，设计能够覆盖各种真实场景退化的合成方法，并确保不同相机传感器采集的RAW数据之间的一致性，这对数据集的构建提出了较高要求。

常用场景

经典使用场景

RAW-Bench数据集在计算机视觉领域被广泛应用于评估RAW图像处理算法的鲁棒性，特别是在面对多种真实世界退化情况时的表现。该数据集通过模拟17种常见的RAW图像退化类型，包括光照变化、天气效应、模糊、相机成像退化以及不同相机色彩响应函数的差异，为研究人员提供了一个全面的测试平台。在RAW-Adapter框架的研究中，RAW-Bench被用来系统比较不同ISP方法和基于RAW的高层视觉算法的性能，特别是在对象检测和语义分割任务中的表现。

实际应用

在实际应用中，RAW-Bench数据集特别适用于自动驾驶、野生动物监控和智能安防等场景。在自动驾驶领域，RAW图像提供的未处理丰富数据可以用于精确的场景理解；在极端黑暗条件下的野生动物监测中，RAW图像能揭示细微的细节；而在智能安防系统中，RAW数据能确保在各种挑战性环境下保持可靠的性能。该数据集还被用于开发适应不同相机传感器的通用视觉算法，这对于多摄像头系统和移动设备上的计算机视觉应用尤为重要。

衍生相关工作

RAW-Bench数据集推动了多项相关研究的发展，包括RAW-Adapter框架的提出，该框架通过适配器调优技术桥接了预训练的sRGB模型和RAW图像。基于此数据集，研究人员还开发了多种RAW图像增强策略和鲁棒性评估方法。在ISP领域，该数据集促进了可学习ISP模块的设计，如LiteISP和InvISP等算法。在高层视觉任务方面，RAW-Bench为Dirty-Pixel和Reconfig-ISP等联合训练方法提供了评估基准，同时也启发了针对特定退化条件（如低光照和恶劣天气）的专门算法研究。