Kaputt

Kaputt数据集是一个大规模的视觉缺陷检测数据集，由亚马逊和牛津大学应用人工智能实验室共同创建。该数据集包含超过238,421张零售物品的顶部RGB图像，以及相应的类别标签和分割掩模。数据集分为查询集和参考集，其中查询集包含100,267张图像，包括29,316个缺陷实例。每个查询图像都与最多三个未标记的参考图像相关联，这些图像展示了物品在“正常”条件下的外观。数据集涵盖了七个不同的缺陷类型，并提供了高分辨率的图像，能够捕捉到明显的和微妙的缺陷。该数据集旨在帮助研究人员开发更鲁棒和通用的视觉缺陷检测模型，以应对零售物流应用中的复杂性和细微之处。The Kaputt Dataset is a large-scale visual defect detection dataset co-created by Amazon and the University of Oxford's Applied Artificial Intelligence Laboratory. It contains over 238,421 top-down RGB images of retail items, along with corresponding category labels and segmentation masks. The dataset is split into a query set and a reference set. The query set includes 100,267 images, encompassing 29,316 defect instances. Each query image is associated with up to three unlabeled reference images that demonstrate the item's appearance under "normal" conditions. The dataset covers seven distinct defect types and provides high-resolution images capable of capturing both obvious and subtle defects. This dataset aims to assist researchers in developing more robust and generalizable visual defect detection models to address the complexities and nuances of retail logistics applications.

原始信息汇总

Kaputt: A Large-Scale Dataset for Visual Defect Detection

数据集概述

• 专为物流场景中的缺陷检测设计的大规模数据集
• 包含超过230,000张图像，其中29,000多个缺陷实例
• 包含超过48,000个不同的物体
• 规模是MVTec数据集的40倍

研究背景

• 现有工业异常检测基准（如MVTec-AD和VisA）已趋于饱和，最优方法达到99.9% AUROC
• 零售物流中的异常检测面临新挑战：物体姿态和外观的多样性和可变性
• 现有领先的异常检测方法在此新场景下表现不佳

技术特点

• 在重度姿态和外观变化下，现有方法难以有效利用正常样本
• 在数据集上的最佳AUROC得分仅为56.96%
• 为零售物流异常检测设立了新的基准

访问信息

• 数据集下载地址：https://www.kaputt-dataset.com
• 需要通过在线表单申请访问权限
• 提交申请后会收到包含详细下载说明的电子邮件

使用条款

• 采用Creative Commons (CC BY-NC-ND 4.0)许可证
• 仅限用于计算机视觉领域的教育和科学研究目的
• 由亚马逊免费提供，"按原样"提供，不提供任何担保

引用信息

bibtex @inproceedings{kaputt2025, title = {Kaputt: A Large-Scale Dataset for Visual Defect Detection}, author = {H{"o}fer, Sebastian and Henning, Dorian and Amiranashvili, Artemij and Morrison, Douglas and Tzes, Mariliza and Posner, Ingmar and Matvienko, Marc and Rennola, Alessandro and Milan, Anton}, booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)}, month = {October}, year = {2025}, address = {Honolulu, Hawaii, USA}, publisher = {IEEE} }

搜集汇总

数据集介绍

构建方式

在零售物流场景中构建视觉缺陷检测数据集面临缺陷样本稀缺的核心挑战，Kaputt数据集通过两阶段采集策略突破这一瓶颈：首先收集人工标记的缺陷样本，继而采用迭代挖掘机制，通过已标注数据训练的二元分类器持续识别潜在缺陷候选样本。数据经过严格筛选，剔除低质量图像并限制单物品样本数量以保障多样性，最终形成包含23.8万张图像的大规模数据集，其中缺陷样本占比28.6%以平衡模型训练需求。每个查询样本配备1-3张未标注参考图像，模拟真实物流场景中有限参考样本的约束条件。

特点

该数据集以48,376种独立物品的庞大规模超越现有基准40倍，其核心特征体现在三维度挑战性：物品姿态呈现随机分布特性，模拟物流分拣过程中的实际变异性；缺陷类型涵盖穿透、变形、启封等七类精细标注，并区分轻微与严重两级缺陷程度；数据架构采用查询-参考双轨设计，参考图像库包含1.3万张未标注样本，其中存在背景差异、包装变更等真实干扰因素。这种多维度复杂性使得现有最优方法的AUROC指标仅达56.96%，显著低于制造业场景中99%的性能表现。

使用方法

研究者可通过四种典型范式开发利用该数据集：零样本范式直接测试视觉语言模型的本质缺陷识别能力；少样本异常检测方法借助参考图像构建正常样本特征库；监督学习方法利用标注训练集学习缺陷模式特征；混合范式则协同利用训练数据与参考图像。数据集按物品标识符严格划分训练、验证与测试集，确保模型泛化能力评估的可靠性。基准测试表明，监督方法在充分训练数据下可达94.27% AUROC，而参考图像的朴素融合反而可能导致性能退化，这揭示了复杂物流场景中缺陷检测算法设计的新挑战。

背景与挑战

背景概述

随着零售物流行业对自动化质量检测需求的日益增长，亚马逊物流技术与机器人团队联合牛津大学应用人工智能实验室于2025年推出了Kaputt大规模视觉缺陷检测数据集。该数据集聚焦于解决零售场景下因商品姿态多样性、外观差异性和缺陷稀缺性导致的检测难题，包含超过23万张图像和2.9万个缺陷样本，覆盖4.8万种独特商品类型。其创新性在于突破了传统工业缺陷检测数据集在可控环境下的局限性，通过模拟真实物流场景中的随机商品摆放和复杂缺陷形态，为构建适应动态零售环境的通用化检测模型提供了关键数据支撑。

当前挑战

该数据集针对零售物流缺陷检测领域面临的核心挑战包括：在高度变化的商品姿态与包装外观下实现精准异常识别，应对单品类样本稀缺条件下的模型泛化需求，以及处理细微缺陷与对抗性样本的判别难题。在构建过程中需克服缺陷样本天然稀疏性带来的数据采集瓶颈，通过两阶段挖掘策略与人工标注协同机制确保样本多样性，同时需解决多标注者主观差异带来的标签一致性问题，并建立针对变形商品、设计干扰项等边缘案例的评估体系。

常用场景

经典使用场景

在零售物流领域的视觉缺陷检测研究中，Kaputt数据集作为新一代基准测试平台，主要应用于评估各类异常检测算法在复杂物流环境下的性能表现。该数据集通过提供超过23万张包含随机姿态和多样化包装的商品图像，其中涵盖29,316个缺陷实例，为研究者构建了接近真实场景的测试环境。其经典应用场景包括对比分析有监督、无监督及混合方法在商品姿态多变、缺陷样本稀缺条件下的检测效果，特别是在处理可变形商品和具有损伤式设计的对抗性商品时的鲁棒性验证。

实际应用

在亚马逊等大型零售企业的物流运营中，Kaputt数据集支撑的缺陷检测系统能够显著提升商品质量管控效率。该系统可部署于分拣中心和仓储环节，自动识别包装破损、液体泄漏、结构变形等常见缺陷，减少人工质检成本并降低错误发货风险。特别是在处理数百万种流通商品时，该系统能够适应不同材质包装的商品检测需求，包括纸板、塑料薄膜、硬质塑料等常见包装材料，实现对细微褶皱到严重破损的全谱系缺陷识别，为零售物流的自动化质量保障提供了可靠的技术解决方案。

衍生相关工作

基于Kaputt数据集的基准测试催生了一系列创新性研究。PatchCore-ft等改进方法探索了在预训练骨干网络中融入缺陷样本进行表征学习的有效性，WinCLIP-few则扩展了少样本异常检测在商品比对场景的应用边界。同时，ViT-S等视觉Transformer架构在该数据集上的优异表现引发了基于自监督预训练模型在缺陷检测领域的研究热潮。这些衍生工作共同推进了多模态大语言模型在工业质检中的适应性研究，为构建能够同时处理姿态变化和包装差异的下一代缺陷检测系统提供了重要的技术参考。