AODRaw

AODRaw数据集提供了7,785张高分辨率的实际RAW图像，包含135,601个标注实例，涵盖62个类别，捕捉了室内外场景在9种不同光照和天气条件下的广泛范围。The AODRaw dataset provides 7,785 high-resolution real RAW images, containing 135,601 annotated instances across 62 categories, and captures a wide range of indoor and outdoor scenes under 9 distinct illumination and weather conditions.

原始信息汇总

AODRaw 数据集概述

数据集简介

AODRaw 数据集包含 7,785 张高分辨率的真实 RAW 图像，标注了 135,601 个实例，涵盖 62 个类别，捕捉了室内外场景在 9 种不同光照和天气条件下的广泛情况。该数据集支持 RAW 和 sRGB 对象检测，并提供了一个全面的基准来评估当前的检测方法。

数据集特点

• 图像数量: 7,785 张
• 标注实例: 135,601 个
• 类别数量: 62 个
• 场景类型: 室内外场景
• 光照和天气条件: 9 种

数据预处理

• 分辨率: 原始图像分辨率为 $6000 imes 4000$，实验中采用两种设置：
  1. 下采样至 $2000 imes 1333$
  2. 切片为 $1280 imes 1280$ 的补丁
• 预处理文件: 可下载预处理文件或自行预处理，预处理文件包括：
  • images_downsampled_srgb
  • images_downsampled_raw
  • images_slice_raw

模型训练与评估

• 训练与评估任务: 支持 RAW 和 sRGB 对象检测
• 预训练权重: 提供 ConvNeXt-T 和 Swin-T 架构的预训练权重，支持 sRGB 和 RAW 域的预训练
• 配置文件: 提供多种检测器和骨干网络的配置文件，包括 Faster RCNN、Retinanet、GFocal、Sparse RCNN、Deformable DETR、Cascade RCNN 等

模型性能

• 检测器: 包括 Faster RCNN、Retinanet、GFocal、Sparse RCNN、Deformable DETR、Cascade RCNN 等
• 骨干网络: 包括 ResNet-50、Swin-T、ConvNeXt-T 等
• 预训练域: sRGB 和 RAW
• 微调域: sRGB 和 RAW
• 平均精度 (AP): 不同模型在不同设置下的 AP 值

引用

@article{li2024aodraw, title={Towards RAW Object Detection in Diverse Conditions}, author={Zhong-Yu Li and Xin Jin and Boyuan Sun and Chun-Le Guo and Ming-Ming Cheng}, journal={arXiv preprint arXiv:2411.15678}, year={2024}, }

许可证

该代码基于 Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International Public License 发布，仅限非商业用途。

搜集汇总

数据集介绍

构建方式

AODRaw数据集的构建基于对原始RAW图像的深入分析，旨在捕捉复杂光照和天气条件下的物体检测信息。该数据集包含7,785张高分辨率的真实RAW图像，涵盖了135,601个标注实例，跨越62个类别，并涵盖了9种不同的光照和天气条件。为了适应不同检测方法的需求，数据集提供了两种预处理方式：一是将图像下采样至2000×1333分辨率，二是将图像切片为1280×1280的补丁。这些预处理步骤确保了数据集在不同实验设置下的适用性。

特点

AODRaw数据集的显著特点在于其对RAW图像的直接支持，避免了传统方法中因图像信号处理器（ISP）压缩导致的细节丢失。数据集的高分辨率和多样化的场景覆盖，使其成为评估物体检测算法在复杂环境下的理想基准。此外，数据集提供了详细的标注信息和多种预处理选项，便于研究人员在不同实验条件下进行对比和优化。

使用方法

使用AODRaw数据集时，用户可以选择下载预处理后的图像文件，或自行进行图像的下采样或切片处理。数据集提供了详细的配置文件和预训练权重，支持单GPU和多GPU的训练与评估。用户可以通过提供的脚本进行模型训练和评估，具体操作可参考mmdetection的文档。此外，数据集还提供了多种检测器和骨干网络的配置文件，用户可以根据需求选择合适的模型进行实验。

背景与挑战

背景概述

在计算机视觉领域，现有的目标检测方法通常依赖于经过图像信号处理（ISP）压缩的sRGB图像，这种压缩过程可能导致在复杂光照和天气条件下丢失关键信息。为了解决这一问题，AODRaw数据集应运而生，该数据集由Zhong-Yu Li等人于2024年创建，提供了7,785张高分辨率的原始RAW图像，包含135,601个标注实例，涵盖62个类别，捕捉了室内外多种场景在9种不同光照和天气条件下的图像。AODRaw数据集不仅支持RAW和sRGB目标检测，还为评估当前检测方法提供了全面的基准，揭示了sRGB预训练在RAW域检测中的局限性，并提出了直接在RAW域进行预训练的必要性。

当前挑战

AODRaw数据集在构建过程中面临多项挑战。首先，RAW图像的高分辨率（6000×4000）使得直接输入检测器不切实际，因此需要采用下采样或切片处理，这增加了数据预处理的复杂性。其次，RAW预训练相比sRGB预训练更难学习丰富的表示，主要由于相机噪声的影响，这要求研究者开发新的预训练策略。此外，尽管AODRaw数据集在多样和恶劣条件下表现出色，但其应用仍受限于数据处理和模型训练的高计算成本，以及对大规模数据集的依赖。

常用场景

经典使用场景

在计算机视觉领域，AODRaw数据集的经典使用场景主要集中在RAW图像的对象检测任务上。该数据集提供了7,785张高分辨率的RAW图像，涵盖了62个类别和135,601个标注实例，适用于多种室内外场景和9种不同的光照与天气条件。通过使用AODRaw，研究者可以评估和改进现有的对象检测方法，特别是在处理复杂光照和天气条件下的RAW图像时，能够显著提升检测性能。

实际应用

在实际应用中，AODRaw数据集可广泛应用于自动驾驶、智能监控和工业检测等领域。例如，在自动驾驶系统中，车辆需要在各种光照和天气条件下准确识别道路上的物体，AODRaw提供的RAW图像数据能够帮助训练出更鲁棒的检测模型。此外，在智能监控系统中，AODRaw也能提升在复杂环境下的目标识别能力，增强系统的可靠性和实用性。

衍生相关工作

基于AODRaw数据集，研究者们已经开展了一系列相关工作，特别是在RAW图像处理和对象检测领域。例如，一些研究通过在AODRaw上进行预训练，提升了模型在RAW图像上的检测精度。此外，还有研究利用AODRaw进行跨域知识蒸馏，将sRGB域的预训练模型知识迁移到RAW域，进一步提高了RAW图像检测的效果。这些工作不仅丰富了RAW图像处理的研究内容，也为实际应用提供了技术支持。