OpticsBench, LensCorruptions

OpticsBench和LensCorruptions数据集用于研究深度神经网络在图像分类和目标检测任务中的鲁棒性。OpticsBench包含主要光学像差作为图像失真，如彗差、散光和球差，而LensCorruptions则包含从100个真实镜头中获得的混合像差。这些数据集通过追踪光线根据惠更斯原理，并结合泽尼克多项式进行空间分辨和参数化，以模拟真实的光学像差。评估了超过70种不同的视觉模型在应用了这些失真的ImageNet数据集上的表现，结果表明当前模型的鲁棒性不足。此外，提出了一种名为OpticsAugment的数据增强方法，该方法在OpticsBench上平均提高了18%的性能，并允许将学到的鲁棒性转移到其他领域。

The OpticsBench and LensCorruptions datasets are designed to investigate the robustness of deep neural networks (DNNs) across image classification and object detection tasks. OpticsBench incorporates core optical aberrations as image distortions, including coma, astigmatism, and spherical aberration, whereas LensCorruptions features mixed aberrations collected from 100 real-world lenses. These two datasets simulate realistic optical aberrations by tracing light rays in accordance with Huygens' principle and leveraging Zernike polynomials for spatial resolution and parameterization. Over 70 distinct vision models were evaluated on the ImageNet dataset corrupted by these distortions, and the experimental results demonstrate that current state-of-the-art visual models exhibit insufficient robustness. Furthermore, a data augmentation method named OpticsAugment is proposed, which achieves an average 18% performance improvement on OpticsBench and enables the transfer of learned robustness to other downstream domains.

原始信息汇总

数据集概述：Classification robustness to common optical aberrations

数据集基本信息

• 作者: Patrick Müller
• 年份: 2023
• 许可证: 参见/opticsbench和/opticsaugment目录
• 相关论文: Classification Robustness to Common Optical Aberrations

数据集内容

• OpticsBench: 用于研究对现实光学模糊效果的鲁棒性基准，包含由Zernike多项式导出的光学像差（如coma、astigmatism、spherical、trefoil）。
• OpticsAugment: 一种使用光学核的数据增强方法，可提高模型对光学像差的鲁棒性。

主要功能

1. 生成预定义的图像损坏数据集: python python benchmark.py --generate_datasets --database imagenet-1k_val --testdata_path <path_to_validation_images>

2. 评估PyTorch DNNs: python python benchmark.py --run_all --path_to_root_folder <root> --models all

3. 使用OpticsAugment训练模型: python python train_dnn.py --root_dir <path_to_dataset> --model_dir $path_to_modeldir --name <model_name> --num_workers <num_workers>

数据集结构

root/ images/ <dataset>/ /val /corruptions <corruption_name>/ <severity>/ eval/ <dataset>/ /val /corruptions <corruption_name>/ <severity>/ <model_name>.json models/ <model_checkpoints>.pt

性能指标

• OpticsBench ImageNet-100上的准确率（平均所有损坏）:

  • DenseNet (ours): 68.22 | 65.33 | 56.33 | 41.60 | 30.13
  • EfficientNet (ours): 61.00 | 55.34 | 42.14 | 30.27 | 23.35
  • MobileNet (ours): 57.59 | 52.30 | 38.58 | 27.51 | 20.54
  • ResNet101 (ours): 69.90 | 67.68 | 61.36 | 49.04 | 37.80
  • ResNeXt50 (ours): 65.14 | 62.68 | 54.44 | 39.90 | 28.45

• 在2D常见损坏上的性能提升（平均差异，%-points）:

  • DenseNet161: 5.08 | 7.55 | 8.73 | 7.30 | 5.38
  • ResNeXt50: 5.11 | 7.63 | 8.68 | 7.18 | 5.27
  • ResNet101: 1.25 | 3.07 | 4.55 | 4.90 | 4.10
  • MobileNet: 3.58 | 4.92 | 4.78 | 3.69 | 3.07
  • EfficientNet: 4.35 | 6.32 | 6.70 | 4.62 | 3.69

引用

bibtex @InProceedings{Muller_2023_ICCV, author = {M"uller, Patrick and Braun, Alexander and Keuper, Margret}, title = {Classification Robustness to Common Optical Aberrations}, booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops}, month = {October}, year = {2023}, pages = {3632-3643} }

搜集汇总

数据集介绍

构建方式

OpticsBench和LensCorruptions数据集的构建基于光学像差理论，通过Zernike多项式模拟不同类型的单色像差（如彗差、像散、球差等）以及真实镜头的混合像差效应。OpticsBench专注于分析单一主像差，通过调整Zernike多项式参数生成25×25×3的RGB模糊核，匹配基准散焦模糊核的尺寸和能量。LensCorruptions则从718个真实镜头设计中筛选100个具有代表性光学质量的镜头，通过光线追迹和Huygens原理生成空间变化的点扩散函数（PSF），覆盖从镜头中心到边缘的五种场位置和三种方位角，最终生成500个具有不同模糊特性的图像退化数据集。

特点

该数据集的核心特点在于其光学真实性：1) 通过Zernike多项式精确模拟波前像差，保留色散特性；2) 镜头模糊核具有空间变化性，反映真实成像系统的场曲和像散；3) 包含从消费级到工业级镜头的质量跨度，平均虚拟像素尺寸为5.8μm（1-20μm范围）；4) 提供五种退化严重等级，与常见损坏基准兼容。数据集的调制传递函数（MTF50）与图像分类/检测性能呈现强相关性（Pearson ρ=+0.86），验证了其物理合理性。

使用方法

数据集支持两种应用范式：1) 鲁棒性评估：将光学模糊核与ImageNet/MSCOCO等标准数据集卷积，生成退化图像用于测试模型性能。评估指标包括分类准确率（top-1）和检测mAP，重点关注分类错误（Cls）与定位错误（Loc）的消长关系；2) 数据增强：通过OpticsAugment方法在训练时动态卷积光学核，采用β分布控制增强强度。实践表明，结合AugMix的级联增强可额外提升3.4%的通用损坏鲁棒性，但对光学退化的补偿效果最佳（ResNeXt50在ImageNet-100上平均提升29.6%）。

背景与挑战

背景概述

OpticsBench和LensCorruptions是由Patrick Müller、Alexander Braun和Margret Keuper等研究人员于2025年提出的两个数据集，旨在研究光学像差对深度神经网络在图像分类和目标检测任务中的影响。这两个数据集基于Zernike多项式生成的光学模糊核，模拟了真实镜头中的像差效应，包括像散、彗差、球差等主要像差类型。OpticsBench专注于单一像差的分析，而LensCorruptions则包含来自100个真实镜头的混合像差效应。这些数据集的提出填补了计算机视觉领域在评估模型对光学像差鲁棒性方面的空白，并为相关研究提供了重要的基准工具。

当前挑战

OpticsBench和LensCorruptions面临的挑战主要包括两个方面：1) 领域问题的挑战：深度神经网络在图像分类和目标检测任务中对光学像差的鲁棒性不足，现有的模糊核（如高斯模糊或圆盘模糊）过于简化，无法准确模拟真实光学系统中的复杂像差效应；2) 构建过程的挑战：在数据集构建过程中，需要精确模拟不同像差类型的模糊核，并将其与现有基准（如ImageNet和MSCOCO）匹配，同时确保模糊核的多样性和真实性。此外，还需要解决像差效应的空间变异性和色差问题，以及在大规模数据集上应用这些模糊核的计算效率问题。

常用场景

经典使用场景

OpticsBench和LensCorruptions数据集主要用于评估深度神经网络（DNNs）在图像分类和目标检测任务中对光学像差（如散焦、像散、彗差等）的鲁棒性。这些数据集通过模拟真实镜头产生的模糊效果，为研究模型在复杂光学条件下的性能提供了标准化测试平台。经典使用场景包括在ImageNet和MSCOCO等基准数据集上测试预训练模型，以分析不同光学像差对模型准确率的影响。

实际应用

在自动驾驶、工业检测等安全关键领域，相机系统常受生产成本限制而存在光学缺陷。该数据集可模拟量产镜头的光学退化，用于：1）测试车载视觉系统在低质量镜头下的可靠性；2）优化端到端相机模组的设计参数；3）开发针对特定像差的数据增强方法（如论文提出的OpticsAugment）。实验表明，经过光学感知训练的分类模型在ImageNet-100上平均性能提升18%，且鲁棒性可迁移至其他域偏移。

衍生相关工作

该工作衍生出多个研究方向：1）基于Zernike系数的PSF建模被扩展至天文成像（如望远镜波前校正）和医学光学（如角膜像差分析）；2）提出的OpticsAugment方法启发了后续联合光学-对抗训练框架；3）在目标检测领域，催生了针对空间变异模糊的Deformable CNN改进研究。相关成果被应用于NuImages等自动驾驶数据集，推动了《IEEE车载相机质量标准》中AI性能测试条款的制定。