Open Images dataset

Open Images是一个包含约900万张图片的数据集，这些图片被标注了超过6000个类别的标签。该数据集由Google公司授权，使用CC BY 4.0许可证。数据集分为训练集和验证集，每张图片都有一个唯一的64位ID，并且可能有一个或多个标签。标签使用Freebase或Google Knowledge Graph API中的mid表示。

Open Images is a dataset comprising approximately 9 million images, each annotated with labels from over 6,000 categories. This dataset is licensed under the CC BY 4.0 license and is authorized by Google. It is divided into training and validation sets, with each image assigned a unique 64-bit ID and potentially one or more labels. The labels are represented using mids from Freebase or the Google Knowledge Graph API.

原始信息汇总

数据集概述

名称： Open Images dataset

规模： 约900万张图片

类别： 超过6000个类别

数据组织：

• ID系统： 每张图片有一个唯一的64位ID，以零填充的十六进制整数表示。
• 数据集划分： 训练集（9011219张图片）和验证集（167057张图片）。
• 标签系统： 使用Freebase或Google Knowledge Graph API中的mids。每个图片可以有零个或多个标签。
• 注释类型： 机器注释和人工注释（仅限验证集）。

注释详情：

• 机器注释： 包含从0.0到1.0的置信度分数，通常大于等于0.5。
• 人工注释： 置信度为确定性的1.0（正例）或0.0（负例）。

数据文件：

• images.csv： 包含图片URL、OpenImages ID、标题、作者和许可证信息。
• labels.csv： 将标签与图片ID关联，包含置信度分数。

数据质量：

• 标签分布： 高度不均匀，某些标签关联超过百万张图片，而其他标签关联少于100张。
• 注释准确性： 机器注释存在一定噪声，但标签关联的图片越多，通常越准确。

使用案例： 已基于此数据集训练Inception v3模型，适用于微调应用、DeepDream和艺术风格转移等。

许可证：

• 注释： 根据CC BY 4.0许可证授权。
• 图片： 根据CC BY 2.0许可证授权，但需用户自行验证每张图片的许可证状态。

搜集汇总

数据集介绍

构建方式

Open Images dataset是由Google构建的一个大规模图像数据集，包含约900万个图像URL，这些图像被标注了超过6000个类别的标签。数据集分为训练集和验证集，每个图像被分配一个唯一的64位ID，并伴有零个、一个或多个图像级标签。标注采用了机器标注和人工标注相结合的方式，人工标注用于验证机器标注，以减少验证集中的误报率。

特点

该数据集的特点在于其规模宏大，标签类别众多，且具有较为严格的标注质量控制。图像的标注使用所谓的'mids'，即Freebase或Google知识图谱中的标识符。每个标签都附有置信度评分，人工标注为确定性的（1.0或0.0），而机器标注具有分数置信度，通常不低于0.5。此外，数据集的标签分布不均匀，部分标签的图像数量超过百万，而部分则不足百张。

使用方法

用户可以通过下载提供的tarball文件来使用数据集，这些文件包含CSV格式的图像URL和元数据，以及图像级标注信息。图像ID与标签之间的映射通过labels.csv文件实现，其中包含了图像ID和对应的标签及其置信度。用户可以利用这些数据来训练机器学习模型，进行图像识别和标注等相关任务。

背景与挑战

背景概述

Open Images数据集，由Google Inc.构建并发布，是一个包含约900万个图像URL的集合，这些图像被标注了超过6000个类别的标签。该数据集的创建旨在推动计算机视觉领域的发展，特别是在图像识别与分类方面的研究。自2016年以来，Open Images数据集已成为研究人员和开发人员的重要资源，为相关算法的训练和验证提供了丰富的数据基础。其标注数据遵循知识共享署名4.0国际许可协议，图像则遵循知识共享署名2.0协议，为学术研究和商业应用提供了便利。

当前挑战

尽管Open Images数据集为图像识别研究提供了庞大的数据支持，但在使用过程中也面临着一些挑战。首先，数据集标注的质量控制是一个重要问题，尽管通过人工验证减少了验证集中的误报，但仍然存在漏报的风险。其次，图像标签分布不均，导致某些类别的模型训练效果优于其他类别。此外，数据集中图像的版权问题需要使用者自行核实，以免在使用过程中侵犯版权。最后，如何有效地利用这些数据训练出更加精确和鲁棒的计算机视觉模型，也是当前研究的一个重要挑战。

常用场景

经典使用场景

在计算机视觉领域，Open Images dataset被广泛用于图像识别与分类任务。其丰富的标注类别和大量的图像样本使得该数据集成为训练深度学习模型以识别和标注图像内容的重要资源。

实际应用

在实际应用中，Open Images dataset被用于改进图像识别算法，这些算法广泛应用于自动驾驶、图像搜索、内容审核以及智能监控等多个领域，提高了系统的准确性和效率。

衍生相关工作

基于Open Images dataset，研究者们开展了一系列相关工作，包括改进标注技术、开发新的图像识别模型、以及探索数据集在细粒度图像识别和视觉问答等任务中的应用，推动了计算机视觉领域的学术发展和技术创新。