RawDet-7

RawDet-7是一个用于RAW图像上目标检测的数据集，包含了25k训练图像和7.7k测试图像，这些图像来自不同的数据集，涵盖多种光照条件、相机类型和环境。数据集为7个对象类别提供了密集注释，使用了MS-COCO和LVIS风格的命名约定。尽管数据集由全精度RAW图像组成，但它能够支持在模拟的4位、6位和8位量化条件下进行目标检测性能评估，反映了现实中的传感器级别限制。RawDet-7提供了一个统一的基准，用于研究RAW领域中的目标检测鲁棒性、效率和泛化性。

RawDet-7 is a dataset dedicated to object detection on RAW-format images. It comprises 25k training images and 7.7k test images sourced from multiple heterogeneous datasets, covering a wide range of lighting conditions, camera models and environmental settings. The dataset provides dense annotations for 7 object categories, adhering to the naming conventions of MS-COCO and LVIS. While the dataset is composed of full-precision RAW images, it enables performance evaluation of object detection under simulated 4-bit, 6-bit and 8-bit quantization scenarios, which mirrors the real-world sensor bit-depth limitations. RawDet-7 serves as a unified benchmark for investigating the robustness, efficiency and generalization capabilities of object detection models in the RAW image domain.

原始信息汇总

RawDet-7 数据集概述

数据集基本信息

• 名称: RawDet-7
• 许可证: CC-BY-4.0
• 任务类别: 目标检测
• 语言: 英语
• 标签: raw, vision, machine-learning, object-detection, sensors
• 数据规模: 10K < n < 100K

数据集描述

RawDet-7 是首个针对RAW图像的目标检测综合数据集，旨在支持从原始数据中进行低比特量化感知的研究。数据集包含25k训练图像和7.7k测试图像，涵盖不同光照条件、相机类型和环境，使用MS-COCO和LVIS风格的命名约定对7个目标类别进行了密集标注。

数据集详情

数据组成

数据集	位深度	行人	自行车	摩托车	汽车	巴士	卡车	电车
Pascal Raw	12	5543	853	98	3555	12	101	10
Zurich	10	356	112	36	788	14	53	5
Raw-NOD-Nikon	14	16274	4087	1419	3446	184	126	24
Raw-NOD-Sony	14	13299	3327	1155	2916	82	110	14
RAOD	24	31555	4449	6706	138492	3619	7862	486
Consolidated	-	67027	12828	9414	149197	3911	8252	539

目标类别

1. 行人 (Person)
2. 自行车 (Bicycle)
3. 摩托车 (Motorcycle)
4. 汽车 (Car)
5. 巴士 (Bus)
6. 卡车 (Truck)
7. 电车 (Tram)

数据集创建

• 创建者: Shashank Agnhotri 和 Mishal Faitma
• 资助方: DFG Research Unit 5336 Learning2Sense

使用场景

• 直接用途: 目标检测研究，特别是在RAW图像领域
• 模拟量化: 支持4-bit、6-bit和8-bit量化下的检测性能评估

注意事项

• 数据来源: 整合自多个现有数据集
• 局限性: 数据集详情页中部分信息缺失（如数据收集过程、注释流程等）

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，RAW图像因其保留了传感器捕获的原始场景信息而备受关注。RawDet-7数据集通过整合多个现有数据集中的图像，构建了一个专门用于RAW图像目标检测的大规模基准。该数据集包含25,000张训练图像和7,700张测试图像，涵盖了不同光照条件、相机类型和环境的多样性。数据标注采用了MS-COCO和LVIS风格的命名规范，密集标注了7个目标类别。尽管数据集中的图像为全精度RAW格式，但其设计支持在模拟4位、6位和8位量化条件下的检测性能评估，以反映实际传感器约束。

特点

RawDet-7数据集作为首个专注于RAW图像目标检测的综合基准，其显著特点在于其多样性和实用性。数据集覆盖了从12位到24位不同位深度的RAW图像，确保了数据来源的广泛性。通过统一的标注规范和多样化的场景覆盖，该数据集为目标检测算法在RAW域中的鲁棒性、效率和泛化能力研究提供了有力支持。特别值得注意的是，数据集的设计允许在模拟低比特量化条件下进行评估，这对于研究传感器级约束下的算法性能具有重要意义。

使用方法

研究人员可利用RawDet-7数据集开展RAW图像目标检测算法的开发与评估工作。数据集已划分为训练集和测试集，用户可直接用于模型训练和性能测试。在使用过程中，需注意数据集支持全精度RAW图像处理，同时也提供了模拟4位、6位和8位量化的评估框架。对于跨域研究，建议关注不同位深度子集间的性能差异分析。由于数据集整合了多个来源，在使用特定子集时需考虑其原始采集条件对结果的影响。

背景与挑战

背景概述

在计算机视觉领域，传统模型通常基于经过图像信号处理（ISP）管道处理的RGB图像进行训练，这些图像优化了人类视觉感知。然而，直接从相机传感器捕获的RAW图像保留了未经处理的场景信息，为机器感知提供了更丰富的特征线索。由Shashank Agnhotri和Mishal Faitma主导，德国研究基金会（DFG Research Unit 5336 Learning2Sense）资助的RawDet-7数据集应运而生，旨在填补RAW图像目标检测领域大规模基准数据集的空白。该数据集整合了来自不同光照条件、相机类型和环境的25k训练图像和7.7k测试图像，覆盖7个目标类别，采用MS-COCO和LVIS命名规范进行密集标注。其创新性在于支持模拟4位、6位和8位量化的检测性能评估，为RAW域中的目标检测鲁棒性、效率和泛化性研究提供了统一基准。

当前挑战

RawDet-7数据集面临的挑战主要体现在两方面：领域问题层面，RAW图像目标检测需克服低比特量化下特征信息损失与模型精度平衡的难题，现有方法在极端量化条件（如4位）下的性能退化亟待解决；数据构建层面，多源异构RAW数据的标准化整合涉及复杂的比特深度对齐与标注一致性校验，且传感器原始数据的庞大体积导致存储与传输成本显著高于传统RGB数据集。此外，模拟量化环境与实际传感器硬件约束的差异也可能影响模型部署的迁移效果。

常用场景

经典使用场景

在计算机视觉领域，RawDet-7数据集为研究者提供了一个独特的平台，用于探索基于RAW图像的物体检测方法。不同于传统的RGB图像，RAW图像保留了传感器捕获的原始数据，这使得模型能够直接从底层信号中学习特征，避免了ISP处理过程中可能引入的信息损失。该数据集特别适合于研究低比特量化感知条件下的物体检测性能，为开发更高效的边缘计算视觉系统提供了重要基准。

衍生相关工作

围绕RawDet-7已产生多项创新性研究，包括基于神经网络的RAW图像特征提取架构QuantNet，以及轻量级物体检测框架RawYOLO。这些工作通过探索不同比特深度的量化策略，在保持检测精度的同时显著降低了计算复杂度。数据集还催生了新型的跨模态迁移学习研究，探索RGB与RAW域之间的知识迁移机制。

数据集最近研究

最新研究方向

随着计算机视觉领域对原始数据感知需求的增长，RawDet-7数据集的推出填补了RAW图像目标检测研究的关键空白。该数据集通过整合多源异构数据，为探索低比特量化感知下的目标检测性能提供了标准化评估平台。当前研究热点集中在利用RAW图像未经过ISP处理的原始信息优势，开发轻量化网络架构以适配传感器级量化约束，同时探索跨相机型号和光照条件的泛化能力。在自动驾驶和工业检测等对实时性要求严格的场景中，基于该数据集的研究正推动着边缘设备端到端视觉系统的革新。