Open Images dataset

Open Images是一个包含约900万张图片的数据集，这些图片被标注了超过6000个类别的标签。该数据集的标注由Google Inc.授权，使用CC BY 4.0许可。数据集内容则根据Apache 2许可发布。数据集分为训练集和验证集，每张图片都有唯一的64位ID，并可能有一个或多个标签。标签信息来源于Freebase或Google Knowledge Graph API。

Open Images is a dataset comprising approximately 9 million images, each annotated with labels from over 6,000 categories. The annotations for this dataset are authorized by Google Inc. and are available under the CC BY 4.0 license, while the dataset content is released under the Apache 2 license. The dataset is divided into training and validation sets, with each image assigned a unique 64-bit ID and potentially one or more labels. The label information is sourced from Freebase or the Google Knowledge Graph API.

原始信息汇总

数据集概述

名称: Open Images dataset

规模: 约900万张图片

类别: 超过6000个类别

标签: 使用Freebase或Google Knowledge Graph API的mid标识

数据集划分:

• 训练集: 9011219张图片
• 验证集: 167057张图片

标签数量: 7844个不同的标签，其中约6000个标签被认为是可训练的

标签分布: 标签分布不均，某些标签关联超过百万张图片，而其他标签关联少于100张图片

注释类型:

• 机器注释: 训练集和验证集均有
• 人工注释: 仅验证集有

注释质量:

• 机器注释: 具有0.0至1.0的置信度分数，通常置信度≥0.5
• 人工注释: 确定性注释，置信度为1.0或0.0

数据文件:

• images.csv: 包含图片URL、OpenImages ID、标题、作者和许可证信息
• labels.csv: 将标签关联到图片ID，并包含置信度分数

许可证:

• 注释: CC BY 4.0
• 数据集内容: Apache 2
• 图片: CC BY 2.0（需自行验证每张图片的许可证状态）

数据下载:

• 图片URL和元数据: 990 MB
• 机器图像级注释（训练和验证集）: 450 MB
• 人工图像级注释（验证集）: 9 MB

模型: 提供预训练的Inception v3模型

引用:

• APA风格: Krasin I., Duerig T., Alldrin N., Veit A., Abu-El-Haija S., Belongie S., Cai D., Feng Z., Ferrari V., Gomes V., Gupta A., Narayanan D., Sun C., Chechik G, Murphy K. OpenImages: A public dataset for large-scale multi-label and multi-class image classification, 2016. Available from https://github.com/openimages.
• BibTeX: 见原文

数据组织

• 图片ID: 每个图片有一个唯一的64位ID
• 数据子集: 训练集和验证集
• 标签描述: 通过dict.csv文件提供每个标签的简短描述

数据质量

• 标签准确性: 标签频率越高，准确性通常越高
• 模型训练: 已基于Open Images注释训练Inception v3模型，适用于多种应用

搜集汇总

数据集介绍

构建方式

Open Images数据集的构建方式是通过对近900万张图片的URL进行标注，这些图片被标注为超过6000个类别的标签。数据集被划分为训练集和验证集，其中包含机器生成的标注以及人工验证的标注。每个图像被分配一个唯一的64位ID，并通过CSV文件记录其URL、标题、作者和许可信息。标签则采用Freebase或Google知识图谱API中的所谓mids形式，并伴有信心指数，以表示标注的准确性。

特点

Open Images数据集的特点在于其规模宏大，标注类别众多，覆盖了从日常物品到自然景观的广泛领域。所有标注均遵循Creative Commons Attribution许可，保证了数据集的开放性和可访问性。此外，数据集的构建注重数据质量，通过人工验证标注的方式，减少了错误阳性的出现。每个标签的频率分布不均，部分标签的标注准确性随着图像数量的增加而提高。

使用方法

使用Open Images数据集时，用户可以下载图像URL和元数据的压缩文件，以及机器和人工标注的压缩文件。数据集支持通过PostgreSQL导入标注信息。为了方便使用，还提供了预训练的Inception v3模型和BigQuery上的OpenImages标注。用户在使用数据集时，应自行验证每张图片的许可状态，并按照提供的指南正确引用数据集。

背景与挑战

背景概述

Open Images数据集是由Google Inc.构建的一个大规模图像数据集，包含了大约900万张图片的URL，这些图片被标注了超过6000个类别的标签。该数据集的创建旨在推动大规模多标签和多类图像分类的研究，其注释数据遵循CC BY 4.0许可证发布，而数据集内容则遵循Apache 2许可证。Open Images数据集自2016年起便被广泛应用于计算机视觉领域，对图像识别技术的发展起到了推动作用。主要研究人员包括Ivan Krasin、Tom Duerig等，该数据集的影响力体现在其被广泛用于模型训练、学术研究和商业应用中。

当前挑战

尽管Open Images数据集为研究者提供了一个丰富的资源，但在使用过程中也面临诸多挑战。首先，由于数据集规模庞大，图像标注的质量控制是一大挑战，尽管通过机器和人工标注相结合的方式减少了错误标注，但仍存在一定比例的错误。其次，图像的版权问题需要用户自行核实，尽管数据集尽量收录了遵循CC BY 2.0许可证的图片，但无法保证每张图片的版权状态。此外，数据集中标签分布不均，某些标签的图像数量远多于其他标签，这给模型的泛化能力带来了挑战。最后，如何高效地从数据集中提取和利用图像资源，以及如何处理和优化大规模数据集的存储和访问，也是当前面临的实际问题。

常用场景

经典使用场景

在计算机视觉与机器学习领域，Open Images dataset以其丰富的图像资源与多元的标签类别，成为图像分类、物体检测以及图像识别等任务的重要数据源。该数据集的经典使用场景主要集中于训练深度学习模型，通过其大量的带标签图像，研究者能够构建并优化算法，提升模型的识别精度和泛化能力。

衍生相关工作

基于Open Images dataset，研究者们衍生出了一系列相关工作，如构建了更为精确的图像分类模型、提出了新的数据增强方法以及优化了模型训练策略等。这些工作进一步推动了计算机视觉技术的发展，为图像识别领域带来了新的研究思路和方法。

数据集最近研究

最新研究方向

Open Images数据集作为大规模多标签和多类图像分类的公共数据集，其最新研究方向主要集中在图像识别模型的精确度提升、标注质量优化以及模型在多领域应用中的适应性研究。近期研究聚焦于利用深度学习技术，如Inception v3模型，对图像进行精细标注，以及通过大数据分析技术如BigQuery对图像标签分布进行分析，以实现更准确的图像分类与识别。此外，研究者也在探索如何利用该数据集进行模型迁移学习，以及通过艺术风格转换等应用，拓宽图像数据集的应用范围。这些研究不仅提高了图像识别技术的实际应用价值，也为计算机视觉领域的发展提供了有力支撑。