OpticsBench, LensCorruptions

OpticsBench和LensCorruptions数据集用于研究深度神经网络在图像分类和目标检测任务中的鲁棒性。OpticsBench包含主要光学像差作为图像失真，如彗差、散光和球差，而LensCorruptions则包含从100个真实镜头中获得的混合像差。这些数据集通过追踪光线根据惠更斯原理，并结合泽尼克多项式进行空间分辨和参数化，以模拟真实的光学像差。评估了超过70种不同的视觉模型在应用了这些失真的ImageNet数据集上的表现，结果表明当前模型的鲁棒性不足。此外，提出了一种名为OpticsAugment的数据增强方法，该方法在OpticsBench上平均提高了18%的性能，并允许将学到的鲁棒性转移到其他领域。OpticsBench and LensCorruptions datasets are used to investigate the robustness of deep neural networks on image classification and object detection tasks. OpticsBench includes major optical aberrations as image distortions, such as coma, astigmatism, and spherical aberration, while LensCorruptions contains mixed aberrations acquired from 100 real lenses. These datasets simulate real optical aberrations by tracing light rays according to Huygens' principle, combined with Zernike polynomials for spatial resolution and parameterization. Over 70 distinct visual models were evaluated on the ImageNet dataset with these distortions applied, and the results demonstrate that current models have insufficient robustness. Furthermore, a data augmentation method named OpticsAugment is proposed, which achieves an average 18% performance improvement on OpticsBench and enables the transfer of learned robustness to other domains.

原始信息汇总

数据集概述：分类模型对常见光学畸变的鲁棒性研究

数据集基本信息

• 作者：Patrick Müller (2023)
• 相关论文：ICCV2023 AROW Workshop官方提交论文
• 许可证：参见/opticsbench和/opticsaugment目录

数据集内容

核心组件

1. OpticsBench

   • 用于研究对现实光学模糊效应的鲁棒性基准
   • 包含基于Zernike多项式的光学畸变类型：彗差、散光、球差、三叶草像差
   • 支持生成预定义的图像损坏数据集

2. OpticsAugment

   • 使用光学核的数据增强方法
   • 可提高模型对光学畸变和2D常见损坏的鲁棒性

代码结构

• /opticsbench：创建模糊损坏数据集和评估PyTorch DNN的代码
• /opticsaugment：使用OpticsAugment训练模型的代码

性能指标

OpticsBench ImageNet-100结果（平均准确率%）

模型	1	2	3	4	5
DenseNet(ours)	68.22	65.33	56.33	41.60	30.13
EfficientNet	61.00	55.34	42.14	30.27	23.35
MobileNet	57.59	52.30	38.58	27.51	20.54
ResNet101	69.90	67.68	61.36	49.04	37.80
ResNeXt50	65.14	62.68	54.44	39.90	28.45

常见损坏性能提升（百分点）

模型	1	2	3	4	5
DenseNet161	5.08	7.55	8.73	7.30	5.38
ResNeXt50	5.11	7.63	8.68	7.18	5.27
ResNet101	1.25	3.07	4.55	4.90	4.10

使用方法

数据集生成

bash python benchmark.py --generate_datasets --database imagenet-1k_val --testdata_path <path_to_validation_images>

生成路径结构：data/images/<dataset>/<val,corruptions>/<corruption_name>/<severity>/

模型评估

bash python benchmark.py --run_all --path_to_root_folder <root> --models all

结果输出路径：root/eval/<dataset>/corruptions>/<corruption_name>/<severity>/<model_name>.json

引用格式

bibtex @InProceedings{Muller_2023_ICCV, author = {M"uller, Patrick and Braun, Alexander and Keuper, Margret}, title = {Classification Robustness to Common Optical Aberrations}, booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops}, month = {October}, year = {2023}, pages = {3632-3643} }

文件目录结构示例

root/ images/ ImageNette/ /val /corruptions/ opticsblur/ astigmatism/ 1/ 2/ ... eval/ ImageNette/ /val /corruptions/ opticsblur/ astigmatism/ 1/ resnet50.json ... models/ resnet50_augmix_optics_augment/ ...

搜集汇总

数据集介绍

构建方式

OpticsBench和LensCorruptions数据集是通过模拟真实光学系统中的模糊效应构建的。OpticsBench主要研究单一的主要像差，如彗差、散光和球差，这些像差可以通过Zernike多项式的单一参数变化来表示。而LensCorruptions则通过Zernike多项式向量空间中的线性组合来模拟100种真实镜头的模糊效应。数据集的构建过程包括从光学设计软件中导出高分辨率点扩散函数（PSF），并通过下采样和抗锯齿处理生成适用于不同像素大小的模糊核。这些模糊核随后被应用于标准视觉数据集（如ImageNet和MSCOCO）的图像上，生成带有光学模糊效应的图像。

特点

OpticsBench和LensCorruptions数据集的主要特点包括：1）模拟真实光学系统中的模糊效应，而非简单的对称模糊核；2）包含多种像差类型和严重程度，能够全面评估模型对光学模糊的鲁棒性；3）通过Zernike多项式生成模糊核，确保光学效应的物理准确性；4）覆盖从中心到边缘的多种场位置，模拟镜头在实际使用中的空间变化模糊效应。这些特点使得该数据集能够更真实地评估计算机视觉模型在实际光学系统中的表现。

使用方法

该数据集可用于评估图像分类和目标检测模型对光学模糊效应的鲁棒性。使用方法包括：1）将模糊核应用于标准数据集的图像上，生成测试集；2）使用生成的测试集评估预训练模型的性能；3）分析模型在不同类型和严重程度的模糊效应下的表现差异。此外，数据集还可用于训练阶段的增强，通过OpticsAugment方法在训练过程中引入光学模糊效应，提高模型对真实光学模糊的鲁棒性。评估过程可通过标准指标（如分类准确率和mAP）进行量化分析。

背景与挑战

背景概述

OpticsBench和LensCorruptions是由Patrick Müller、Alexander Braun和Margret Keuper等研究人员于2023年提出的两个数据集，旨在研究光学像差对深度神经网络在图像分类和目标检测任务中鲁棒性的影响。这些数据集的创建源于对现实世界中光学系统产生的复杂模糊效应的关注，特别是在安全关键应用中，模型的鲁棒性至关重要。OpticsBench专注于分析单一主要像差（如彗差、散光和球差），而LensCorruptions则通过从真实镜头中采样的混合像差来扩展研究范围。这些数据集在计算机视觉领域具有重要意义，因为它们提供了更接近真实光学系统的模糊效应评估基准，填补了现有研究中过于简化模糊模型的空白。

当前挑战

OpticsBench和LensCorruptions面临的挑战主要包括两个方面：1) 在解决领域问题方面，这些数据集旨在评估模型对复杂光学像差的鲁棒性，但现有模型在面对这些像差时表现差异显著，例如在ImageNet和MSCOCO数据集上，不同预训练模型在OpticsBench和LensCorruptions上的性能波动较大，这表明需要考虑更真实的图像退化来全面评估模型鲁棒性；2) 在构建过程中，研究人员面临如何准确模拟真实光学系统的模糊效应、如何处理空间变化的点扩散函数、如何从大量镜头设计中选取有代表性的样本，以及如何将光学指标（如MTF50）与计算机视觉任务性能相关联等挑战。此外，保持不同像差类型之间的可比性，同时确保数据集的多样性和可管理性也是一个重要挑战。

常用场景

经典使用场景

OpticsBench和LensCorruptions数据集主要用于评估计算机视觉模型对光学像差（如散焦、像散、彗差等）的鲁棒性。这些数据集通过模拟真实镜头产生的模糊效果，为研究者提供了一个标准化的测试平台，以验证模型在图像分类和目标检测任务中对光学退化的适应能力。

解决学术问题

该数据集解决了计算机视觉领域中模型对光学像差鲁棒性评估不足的问题。传统模糊基准通常采用过度简化的模糊核（如高斯模糊或均匀圆盘模糊），而忽略了真实光学系统中多样化的模糊核形状。OpticsBench和LensCorruptions通过引入基于Zernike多项式的合成像差和真实镜头采样数据，填补了这一研究空白，为模型鲁棒性提供了更全面的评估标准。

衍生相关工作

该数据集推动了多项相关研究：1) OpticsAugment方法通过光学核数据增强显著提升模型鲁棒性；2) 催生了针对特定像差（如彗差）的模型优化研究；3) 启发了将Zernike多项式表征应用于其他成像质量评估任务。典型工作包括将光学像差分析扩展到对抗样本防御、医学图像处理等领域，以及基于该基准开发的混合像差补偿算法。