Open Images dataset

Open Images是一个包含约900万张图像的数据集，这些图像被标注了标签和边界框，涵盖数千个类别。该数据集的标注由Google Inc.根据CC BY 4.0许可授权，本仓库内容则根据Apache 2许可发布。图像本身根据CC BY 2.0许可使用，但需注意每个图像的版权状态需自行验证。

Open Images is a dataset comprising approximately 9 million images, each annotated with labels and bounding boxes, spanning thousands of categories. The annotations for this dataset are provided by Google Inc. under the CC BY 4.0 license, while the contents of this repository are released under the Apache 2 license. The images themselves are used under the CC BY 2.0 license, but it is important to note that the copyright status of each image must be verified individually.

原始信息汇总

数据集概述

名称： Open Images dataset

规模： 约900万张图片

内容： 数据集包含约900万张图片，每张图片均标注有类别标签和边界框，涵盖数千个类别。

许可：

• 图片许可： 图片使用CC BY 2.0许可。
• 注释许可： 注释由Google Inc.授权，使用CC BY 4.0许可。
• 数据集许可： 数据集内容使用Apache 2许可。

数据集组成

图像：

• ID： 每张图像有一个唯一的64位ID。
• 分布： 训练集包含9,011,219张图像，验证集包含41,620张图像，测试集包含125,436张图像。

注释：

• 类型： 包括机器生成的图像级注释和人工验证的注释。
• 人工验证来源：
  • 机器注释的人工验证，以减少假阳性。
  • 通过Crowdsource应用和g.co/imagelabeler进行众包验证。
  • 验证和测试集中的边界框由人工操作员绘制。
  • 训练集中的边界框使用增强方法半自动生成，并由人工验证。

注释文件：

• images.csv： 包含图像URL、ID、标题、作者和许可信息。
• annotations-machine.csv： 机器生成的图像级标签。
• annotations-human.csv： 人工验证的图像级标签。
• annotations-human-bbox.csv： 人工提供的带有边界框坐标的标签。

类别信息：

• 图像级类别： 19,868个类别。
• 边界框类别： 600个类别。
• 可训练类别： 5,000个图像级类别和545个边界框类别被视为可训练。

数据集下载

• 图像URL和元数据： 链接
• 边界框注释： 链接
• 图像级注释： 链接
• 机器填充的图像级注释： 链接
• 类别和类别描述： 链接

数据集统计与分析

• 标签分布： 数据集中的标签分布严重倾斜，使用对数尺度显示。
• 边界框频率： 显示训练集和验证/测试集中的边界框频率。

引用信息

• APA风格引用： Krasin I., Duerig T., Alldrin N., Ferrari V., Abu-El-Haija S., Kuznetsova A., Rom H., Uijlings J., Popov S., Veit A., Belongie S., Gomes V., Gupta A., Sun C., Chechik G., Cai D., Feng Z., Narayanan D., Murphy K. OpenImages: A public dataset for large-scale multi-label and multi-class image classification, 2017. Available from https://github.com/openimages.
• BibTeX： 见原文。

搜集汇总

数据集介绍

构建方式

Open Images dataset 是由 Google Inc. 构建的一个大规模图像数据集，其中包含了大约900万张图像的URL，这些图像已经被标注了标签和边界框，跨越了数千个类别。数据集的构建主要分为机器标注和人工验证两个阶段。首先，通过计算机视觉模型生成图像级别的标注，随后，这些标注由人工进行验证，以确保标注的准确性。在训练集的构建中，使用了增强版本的方法，该方法无需边界框即可训练对象类别检测器，并且所有的标注都是人工验证过的。

特点

Open Images dataset 的特点在于其规模宏大、类别丰富，并且提供了图像级别的标注和边界框标注。数据集包含了大约900万张图像，跨越数千个类别，既有机器生成的标注，也有人工验证的标注。此外，数据集还提供了5000个可训练的图像级别标签和545个可训练的边界框级别标签，这些标签都是在训练集中具有至少30个人工验证图像和在验证集或测试集中至少有5张图像的。每个标注都有一个从0.0到1.0的置信度分数，其中人工标注为二值（1.0为阳性，0.0为阴性），而机器标注则具有分数值，通常大于等于0.5。

使用方法

使用 Open Images dataset 的方法包括下载图像URLs和元数据、边界框标注、图像级别标注以及机器生成的图像级别标注等文件。用户可以通过CSV文件中的信息获取图像和相应的标注数据。对于图像级别的标注，用户可以查看每个图像的标签和置信度；对于边界框标注，用户可以获取每个图像中对象的边界框坐标和标签。此外，数据集还提供了类描述文件，用户可以通过MIDs查找每个类别的简短描述。

背景与挑战

背景概述

Open Images数据集是由Google Inc.创建的一个大规模图像数据集，旨在促进大规模多标签和多类图像分类的研究。该数据集包含了大约900万张图片的URL，这些图片被标注了标签和边界框，涵盖了数千个类别。Open Images数据集于2017年发布，由Ivan Krasin等研究人员构建，其核心研究问题是提供一个大型的、多样化的、可免费使用的图像数据集，以推动计算机视觉领域的发展。该数据集对相关领域产生了重大影响，被广泛用于图像识别、分类和检测等任务的研究与开发。

当前挑战

Open Images数据集在构建过程中面临的挑战主要包括：确保图片的版权问题，因为图片来源于不同的网站，且并非所有图片都能确认其版权信息；大规模图片的标注问题，包括机器标注和人工验证，如何确保标注的质量和准确性；以及数据集的多样性和平衡性问题，如何保证各个类别之间的数据分布相对均衡。在所解决的领域问题方面，Open Images数据集面临的挑战包括如何提高多标签图像分类的准确性和鲁棒性，以及如何有效地处理和识别边界框内的多个对象实例。

常用场景

经典使用场景

Open Images数据集是一个大规模的多标签、多类图像分类的公共数据集，其经典使用场景主要包括在计算机视觉领域进行图像识别、目标检测和图像分类等任务。该数据集提供了约900万张图片的URL，这些图片被标注了成千上万的类别标签和边界框，为研究者提供了一个丰富的资源库，以训练和测试各种机器学习模型。

衍生相关工作

基于Open Images数据集，衍生出了一系列相关的工作，包括但不限于改进的图像分类算法、目标检测模型以及多标签学习的深入研究。此外，还有工作专注于数据集的质量控制和增强，如通过众包方式提高标注的准确性，以及开发新的数据增强技术来扩展数据集的应用范围。

数据集最近研究

最新研究方向

Open Images数据集是大规模的多标签和多类别图像分类的公共数据集，近期研究方向主要聚焦于图像识别和目标检测。研究者们利用该数据集进行深度学习模型的训练和评估，以提高多标签分类和目标检测的准确性。此外，也有研究关注于数据集的质量控制，例如通过人类验证来减少错误标注的影响。Open Images数据集的丰富性和多样性使其成为计算机视觉领域的一个重要资源，对提升算法性能和推动技术研究具有重要意义。