Open Images dataset

Open Images是一个包含约900万张图像URL的数据集，这些图像被标注了超过6000个类别的标签。该数据集的注释由Google Inc.根据CC BY 4.0许可授权。本仓库内容根据Apache 2许可发布。

Open Images is a dataset comprising approximately 9 million image URLs, each annotated with labels across over 6,000 categories. The annotations for this dataset are provided by Google Inc. under the CC BY 4.0 license. The contents of this repository are released under the Apache 2 license.

原始信息汇总

数据集概述

名称: Open Images dataset

描述: Open Images是一个包含约900万张图片的数据集，这些图片被标记了超过6000个类别的标签。

许可证:

• 注释由Google Inc.根据CC BY 4.0许可授权。
• 存储库内容根据Apache 2许可发布。
• 图片列出的许可为CC BY 2.0。

数据组织:

• 每个图像都有一个唯一的64位ID。
• 数据集分为训练集（9011219张图片）和验证集（167057张图片）。
• 每个图像可能有一个或多个图像级标签。
• 训练集和验证集都有机器生成的注释，而验证集还有人工注释。

标签:

• 标签称为mids，类似于Freebase或Google Knowledge Graph API中的标签。
• 有7844个不同的标签，但只有约6000个标签被认为是“可训练的”，每个标签在验证集中至少有50张图片，在训练集中至少有20张图片。

注释:

• 每个注释都有一个从0.0到1.0的置信度数值。
• 人工注释是确定的（正面的为1.0，负面的为0.0），而机器注释具有分数置信度，通常大于等于0.5。

数据文件:

• images.csv: 包含图像URL、OpenImages ID、标题、作者和许可证信息。
• labels.csv: 将标签附加到图像ID。

数据下载:

• Image URLs and metadata (990 MB)
• Machine image-level annotations (train and validation sets) (450 MB)
• Human image-level annotations (validation set) (9 MB)

数据质量:

• 标签分布非常不均匀，某些标签附着于超过一百万张图片，而其他标签则少于100张。
• 机器注释存在一定噪声，但通常标签附着的图片越多，其准确性越高。

模型训练:

• 基于Open Images注释训练了一个Inception v3模型，该模型适用于微调应用以及其他需要良好发展的过滤器层次结构的应用，如DeepDream或艺术风格转移。

搜集汇总

数据集介绍

构建方式

Open Images数据集通过收集约900万张图像的URL，并结合超过6000个类别的标签进行标注构建而成。数据集的标注工作由Google Inc.完成，并采用CC BY 4.0许可协议发布。图像资源则主要基于CC BY 2.0许可协议，尽管数据集提供了图像的许可信息，但用户仍需自行验证每张图像的具体许可状态。数据集的构建过程中，图像被分配了唯一的64位ID，并分为训练集和验证集，其中验证集还包含了人工标注，以确保标注的准确性。

特点

Open Images数据集的特点在于其大规模的图像数量和广泛的类别覆盖。数据集包含超过6000个类别的标签，且每个图像可能拥有多个标签。标注信息包括机器生成和人工验证的标签，机器生成的标签带有置信度评分，而人工标注则提供了明确的标签确认。此外，数据集的标签分布不均，部分标签关联的图像数量超过百万，而其他标签则仅有少量图像。这种分布特性使得数据集在训练深度学习模型时具有较高的挑战性和实用性。

使用方法

Open Images数据集的使用方法多样，用户可以通过下载包含图像URL和元数据的CSV文件来获取图像资源。数据集提供了训练集和验证集的机器标注文件，以及验证集的人工标注文件。用户还可以通过BigQuery访问数据集的标注信息，或将其导入PostgreSQL数据库进行进一步分析。此外，数据集还提供了预训练的Inception v3模型，用户可以直接使用该模型进行图像分类任务，或在此基础上进行微调以适应特定应用场景。

背景与挑战

背景概述

Open Images数据集由Google Inc.于2016年发布，旨在为大规模多标签和多类图像分类任务提供丰富的标注数据。该数据集包含约900万张图像的URL，涵盖了超过6000个类别，标注信息由机器生成并经过人工验证。Open Images的发布标志着计算机视觉领域在图像理解方面的重大进展，尤其是在多标签分类任务中，为研究人员提供了宝贵的资源。该数据集的影响力不仅体现在其规模上，还在于其标注的多样性和质量，推动了深度学习模型在图像分类、目标检测等任务中的性能提升。

当前挑战

Open Images数据集在构建和应用过程中面临多重挑战。首先，多标签分类任务本身具有复杂性，图像可能同时包含多个类别，且类别之间的关联性增加了模型训练的难度。其次，尽管机器生成的标注经过人工验证，但仍存在噪声，尤其是低频标签的准确性较低，这影响了模型的泛化能力。此外，数据集中标签分布极不均衡，部分标签的样本量远少于其他标签，导致模型在训练过程中难以充分学习低频类别的特征。最后，数据集的构建过程中还涉及版权问题，尽管Google Inc.尽力确保图像的使用符合Creative Commons许可，但用户仍需自行验证每张图像的版权状态，这增加了数据使用的复杂性。

常用场景

经典使用场景

Open Images数据集在计算机视觉领域中被广泛用于图像分类和多标签分类任务。其包含超过900万张图像和6000多个类别的标签，为研究人员提供了丰富的训练和验证数据。该数据集特别适用于训练深度学习模型，如卷积神经网络（CNN），以提升模型在复杂场景下的识别能力。

实际应用

在实际应用中，Open Images数据集被用于开发智能图像搜索系统、自动化图像标注工具以及增强现实（AR）应用。例如，基于该数据集训练的模型可以用于电商平台的商品图像分类，或帮助社交媒体平台自动生成图像标签，从而提升用户体验和内容管理效率。

衍生相关工作

Open Images数据集催生了许多经典研究工作，例如基于Inception v3模型的图像分类和迁移学习应用。此外，该数据集还被用于艺术风格迁移、DeepDream等视觉生成任务的研究。这些工作不仅推动了计算机视觉技术的发展，也为图像处理领域的创新提供了重要参考。