kakaobrain/coyo-labeled-300m

COYO-Labeled-300M是一个包含300M图像-多标签对的数据集，这些标签是由一个在imagenet-21k上训练的大型模型（efficientnetv2-xl）自动生成的。数据集类似于ImageNet，但规模更大，且标签是机器生成的。每个数据实例包含图像的URL、图像的感知哈希值、标签索引及其对应的概率。数据集主要用于多标签图像分类任务，用户可以根据标签概率选择适当的阈值进行分类。数据集的语言为英文，且没有进行数据分割，因为预期评估将在更广泛使用的下游任务上进行。

COYO-Labeled-300M is a dataset containing 300M image-multi-label pairs, whose labels are automatically generated by a large model (EfficientNetV2-XL) trained on ImageNet-21K. The dataset is analogous to ImageNet but has a larger scale and uses machine-generated labels. Each data instance includes the image URL, the perceptual hash of the image, label indices and their corresponding probabilities. The dataset is primarily designed for multi-label image classification tasks, where users can select appropriate thresholds for classification based on the label probabilities. The dataset is in English, and no data split has been performed, as evaluations are expected to be conducted on more widely adopted downstream tasks.

原始信息汇总

数据集概述

数据集基本信息

• 名称: COYO-Labeled-300M
• 语言: 英语
• 许可证: CC-BY-4.0
• 多语言性: 单语
• 大小: 100M<n<1B
• 来源: 原始数据
• 标签创建者: 无人工标注
• 标签语言创建者: 其他
• 任务类别: 图像分类
• 任务ID: 多标签图像分类

数据集描述

数据集总结

COYO-Labeled-300M是一个包含3亿机器标注的图像-多标签对的数据集。该数据集使用在ImageNet-21k上训练的大型模型（efficientnetv2-xl）对COYO-700M的子集进行标注。每个图像提供前50个最可能的标签及其概率，标签来自ImageNet-21k的21,841个类别。

支持的任务和排行榜

数据集通过重新实现流行的模型ViT来验证其质量，结果显示在COYO-Labeled-300M上训练的ViT模型性能与在JFT-300M上训练的ViT模型性能相似。此外，还提供了在COYO-Labeled-300M上预训练的ViT模型的权重及其训练和微调代码。

数据集结构

数据实例

每个实例包含图像和多标签信息，以及标签概率和图像的元属性。

数据字段

• id: 唯一64位整数ID
• url: 图像URL
• imagehash: 图像的感知哈希值
• labels: 模型推理结果的标签索引
• label_probs: 模型推理结果的标签概率
• width: 图像宽度
• height: 图像高度

数据分割

数据未分割，预期在更广泛使用的下游任务上进行评估。

数据集创建

筛选理由

数据集是从COYO-700M中筛选出的一部分，使用在ImageNet-21k上训练的模型进行标注，筛选过程类似于jft-300m，并根据特定阈值筛选出概率最高的标签。

源数据

数据来源于COYO-700M，由Common Crawl提供。

标注过程

数据集的构建是一个完全自动化的过程，无需人工标注。

个人和敏感信息

数据集遵循与COYO-700M相同的指导原则、许可证和贡献者信息。

搜集汇总

数据集介绍

构建方式

在视觉与语言多模态学习领域，大规模标注数据集是驱动模型性能跃升的关键基石。COYO-Labeled-300M的构建源自对COYO-700M子集的深度加工，采用全自动化流程，无需人工介入。具体而言，研究团队利用在ImageNet-21K上预训练的EfficientNetV2-XL大型模型，为筛选出的约3亿图像-标签对赋予机器标注。每个样本均输出ImageNet-21K全部21,841类别中概率最高的前50个标签及其对应概率值，而非仅提供单一标签，从而保留了细粒度的语义信息。数据采样策略参照JFT-300M的规模，并依据top-1标签概率阈值进行过滤，确保数据质量。

特点

该数据集的核心特点在于其规模与标注形式的创新性。作为ImageNet风格的数据集，它以3亿的样本量远超传统人工标注的120万，在规模上可与未公开的JFT-300M相媲美。不同于常见的单标签分类，COYO-Labeled-300M提供多标签概率分布，赋予用户灵活选择阈值以适应多标签或单标签分类任务的自由度。其标签空间覆盖21,841个类别，语义丰富度极高。实验验证表明，基于该数据集预训练的ViT模型性能与在JFT-300M上训练的结果相当，证实了机器标注在大规模场景下的可靠性。

使用方法

使用COYO-Labeled-300M时，用户可通过HuggingFace Datasets库直接加载。每个数据实例包含图像URL、感知哈希值、图像尺寸以及两个关键字段：labels（前50个类别索引）和label_probs（对应概率值）。对于多标签分类任务，可依据自定义概率阈值筛选标签；若需单标签分类，则取概率最高的类别。数据集未预设训练/测试划分，用户可根据下游任务自行拆分。此外，官方提供了基于该数据集的ViT预训练权重及微调代码，便于研究者快速复现或迁移学习，从而在图像分类等任务中探索机器标注数据的潜力。

背景与挑战

背景概述

在计算机视觉领域，大规模图像分类数据集的构建一直是推动模型性能提升的关键驱动力。由Kakao Brain团队于2022年创建的COYO-Labeled-300M数据集，旨在通过机器标注的方式突破人工标注的规模瓶颈。该数据集从COYO-700M中精选出3亿张图像，并利用在ImageNet-21K上预训练的EfficientNetV2-XL模型自动生成多标签标注，每个样本包含概率最高的50个类别标签。其核心研究问题在于验证大规模机器标注数据能否媲美甚至超越人工标注数据（如JFT-300M）对视觉Transformer等模型的训练效果。该数据集在ViT模型的复现实验中展现出与JFT-300M相近的性能，为开放科研社区提供了可替代昂贵人工标注的规模化数据方案，显著推动了弱监督学习与大规模预训练领域的发展。

当前挑战

该数据集面临的核心挑战在于机器标注的噪声控制与标签质量验证。由于采用全自动标注流程，EfficientNetV2-XL模型在复杂场景或罕见类别上的预测偏差可能引入系统性错误，导致标签分布与真实语义存在差异。此外，从COYO-700M中筛选3亿样本时，仅依赖top-1标签概率阈值进行过滤，可能遗漏低置信度但具有潜在价值的样本，或混入错误标注的高置信度噪声。构建过程中，如何平衡标注规模与标签精度是一大难题——过度追求高置信度会缩减数据多样性，而放宽阈值则可能降低整体标注可靠性。同时，数据集缺乏人工验证环节，使得模型训练时对标签噪声的鲁棒性成为下游应用的关键制约因素。

常用场景

经典使用场景

COYO-Labeled-300M作为大规模机器标注的图像-标签对数据集，其经典使用场景在于为视觉Transformer（ViT）等前沿架构提供堪比JFT-300M的预训练数据。研究者可借助其涵盖ImageNet-21K全部21,841类别的Top-50概率标签，灵活开展多标签分类或单标签分类任务。该数据集通过EfficientNetV2-XL模型自动标注，免去了高昂的人工标注成本，使得学术机构也能复现原本依赖私有数据集JFT-300M的ViT训练效果，从而推动大规模视觉预训练的民主化进程。

实际应用

在实际应用中，COYO-Labeled-300M可服务于工业级图像理解系统的构建。例如，电商平台可利用其预训练的多标签分类能力，对海量商品图片进行自动标签生成与类目划分；内容审核系统可基于其丰富的视觉概念知识，快速识别违规图像中的多维度语义信息；医疗影像分析领域则能借助其预训练权重进行迁移学习，在标注稀缺的病理图像上取得更优的细粒度诊断性能。该数据集提供的概率标签特性，更赋予了实际系统按需调整分类阈值的灵活性。

衍生相关工作

COYO-Labeled-300M的出现催生了一系列重要衍生工作。最直接的是，Kakao Brain基于该数据集发布了公开可用的ViT预训练权重及微调代码，使得研究者无需从头训练即可在ImageNet等基准上获得竞争力的结果。后续工作进一步探索了数据质量筛选策略，如利用标签概率进行噪声过滤，以及将机器标注数据与人工标注数据混合训练以提升模型鲁棒性。此外，该数据集还启发了更大规模机器标注数据集的构建范式，推动了视觉预训练从人工标注向自动化标注的范式转变。