COCO-O

COCO-O是一个基于COCO的大型测试数据集，专门设计用于评估对象检测器在自然分布偏移下的鲁棒性。该数据集包含6782张在线收集的图像，涵盖6个测试域：素描、天气、卡通、绘画、纹身和手工艺。COCO-O旨在提供一个更全面的鲁棒性评估，与训练数据有较大的分布差异，导致Faster R-CNN检测器性能相对下降55.7%。数据集的应用领域包括自动驾驶等实际场景，旨在解决模型在面对环境变化时的性能下降问题。COCO-O is a large-scale test dataset based on COCO, specifically designed to evaluate the robustness of object detectors under natural distribution shifts. This dataset contains 6,782 images collected online, covering 6 test domains: sketches, weather conditions, cartoons, paintings, tattoos, and handicrafts. COCO-O aims to provide a more comprehensive robustness evaluation, as its data has a significant distribution gap compared to training data, leading to a relative performance drop of 55.7% for Faster R-CNN detectors. The application scenarios of this dataset include real-world use cases such as autonomous driving, and it is intended to address the issue of model performance degradation when facing environmental changes.

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，目标检测模型的鲁棒性评估长期面临自然分布偏移数据集的缺失。COCO-O的构建旨在填补这一空白，其通过系统化的数据收集与标注流程实现。研究团队依据物体细节的抽象程度，将测试域划分为素描、天气、卡通、绘画、纹身和手工制品六类，以覆盖多样化的自然分布偏移。数据采集基于网络搜索，通过组合COCO类别关键词与各领域描述词（如“卡通+狗”）获取图像，并人工控制类别平衡以确保数据集的代表性与广泛性。最终，数据集包含6,782张图像与26,624个标注边界框，完全兼容现代COCO评估协议。

特点

COCO-O的核心特征在于其全面性与挑战性，为评估目标检测器的分布外泛化能力提供了高标准基准。数据集涵盖六种自然分布偏移类型，从仅保留外观变化的天气域到高度抽象的素描域，形成了渐进的难度梯度。与基于合成扰动的基准相比，COCO-O全部由真实图像构成，更贴近实际应用场景。其与训练数据之间存在显著分布差距，导致典型检测器性能相对下降高达55.7%。此外，数据集隐含遮挡、模糊、光照变化等潜在困难因素，进一步增强了评估的复杂性与实用性。

使用方法

COCO-O主要用于评估目标检测模型在自然分布偏移下的鲁棒性，可直接作为测试集与COCO训练集配合使用。研究人员需在COCO数据集上训练模型，随后在COCO-O的六个子域上分别计算平均精度（mAP），并以整体平均mAP作为鲁棒性指标。为消除模型在分布内性能差异的影响，建议采用有效鲁棒性（Effective Robustness）这一标准化度量。数据集兼容MMDetection、Detectron2等主流检测框架，用户可通过标准评估流程便捷集成。此外，COCO-O的域标签也支持域适应、域泛化及少样本学习等扩展研究方向。

背景与挑战

背景概述

在计算机视觉领域，目标检测模型在训练与测试数据独立同分布的严格假设下取得了显著成就，然而现实应用中的自然分布偏移常导致模型性能急剧下降，构成潜在安全风险。为系统评估检测器在分布外（OOD）场景下的鲁棒性，阿里巴巴集团、浙江大学、巴斯大学及清华大学的研究团队于2023年联合提出了COCO-O基准数据集。该数据集基于广泛使用的COCO检测任务构建，包含天气、绘画、手工、卡通、纹身和素描六大自然偏移测试域，共计6,782张图像与26,624个标注边界框。COCO-O的创建旨在填补通用检测任务鲁棒性评估的空白，其相较于训练数据的显著分布差距可使典型检测器性能相对下降55.7%，为深入探究模型改进的可靠性及过拟合问题提供了关键实验平台。

当前挑战

COCO-O数据集所应对的核心领域挑战在于目标检测模型对自然分布偏移的脆弱性，即模型在遇到与训练数据分布迥异的图像时，其定位与分类能力会出现显著衰退。具体而言，数据集中涵盖的抽象层级递减的六类偏移，如丢失色彩纹理的素描、几何形变的纹身等，对模型的特征提取与泛化能力构成了严峻考验。在构建过程中，研究团队面临的主要挑战包括：如何系统性地定义并收集具有代表性的自然偏移域，以覆盖现实世界中多样的抽象表达形式；如何在网络搜索中平衡不同物体类别的样本数量，并避免数据过度集中于单一物体中心的“标志性”图像，以确保评估的全面性与公正性；以及如何设计有效的评估指标（如有效鲁棒性）以剥离模型在分布内性能提升对OOD评估结果的影响，从而真实反映其泛化能力的进步。

常用场景

经典使用场景

在计算机视觉领域，目标检测模型的鲁棒性评估长期面临自然分布偏移场景的测试基准缺失。COCO-O数据集通过整合素描、天气、卡通、绘画、纹身和手工制品六类自然分布偏移图像，构建了首个面向通用目标检测任务的鲁棒性评估基准。该数据集的核心应用场景在于系统性地衡量各类检测模型在真实世界复杂视觉变化下的性能稳定性，为模型在非理想数据分布下的泛化能力提供量化依据。

衍生相关工作

COCO-O的发布推动了鲁棒目标检测研究的多条技术路径探索。基于其评估结果，后续研究聚焦于通过大规模视觉-语言预训练提升模型语义泛化能力，如GLIP等零样本检测器展现出显著优势；同时，针对检测Transformer在分布偏移下的性能分析，引发了关于端到端架构与归纳偏置设计的重新思考。此外，数据集支撑的增强策略分析（如MixUp的有效性验证）及骨干网络优化方向，为构建新一代鲁棒检测框架提供了实证基础。

数据集最近研究

最新研究方向

在计算机视觉领域，目标检测模型的分布外泛化能力正成为前沿研究焦点。COCO-O数据集的提出，为评估模型在自然分布偏移下的鲁棒性提供了首个COCO规模的基准测试平台。该数据集涵盖素描、天气、卡通、绘画、纹身和手工艺品六种自然偏移域，显著揭示了现有检测器在分布外场景中的性能退化现象。当前研究热点集中于探索大规模视觉基础模型、检测架构设计与预训练策略对鲁棒性的影响，其中视觉Transformer架构在端到端检测中的泛化脆弱性、骨干网络的关键作用以及多模态预训练带来的突破成为核心议题。这些发现不仅推动了鲁棒目标检测算法的创新，也为跨域自适应、少样本学习等衍生研究方向提供了丰富的实验土壤。

相关研究论文

• COCO-O: A Benchmark for Object Detectors under Natural Distribution Shifts

  阿里巴巴集团 · 2023年