Open Images dataset

Open Images是一个包含约900万张图片URL的数据集，这些图片被标注了超过6000个类别的标签。

Open Images is a dataset comprising approximately 9 million image URLs, each annotated with labels spanning over 6,000 categories.

原始信息汇总

数据集概述

名称： Open Images dataset

规模： 约900万张图片

类别： 超过6000个类别

许可证：

• 注释：CC BY 4.0
• 数据集内容：Apache 2
• 图片：CC BY 2.0

数据集组织：

• ID系统： 每个图像有一个唯一的64位ID。
• 分割： 分为训练集（9011219张图片）和验证集（167057张图片）。
• 标签： 使用Freebase或Google Knowledge Graph API的mid标识，共7844个标签，其中约6000个为可训练标签。

数据下载：

• Image URLs and metadata (990 MB)
• Machine image-level annotations (train and validation sets) (450 MB)
• Human image-level annotations (validation set) (9 MB)

数据格式：

• images.csv： 包含图像URL、ID、标题、作者和许可证信息。
• labels.csv： 将标签与图像ID关联，包含源、标签名和置信度。

数据质量：

• 标签分布不均，部分标签关联超过百万张图片，而其他标签关联少于100张。
• 机器注释存在噪声，但频率较高的标签更准确。

模型训练： 已基于Open Images注释训练Inception v3模型，适用于微调和艺术风格转换等应用。

引用信息：

• APA-style citation: "Krasin I., Duerig T., Alldrin N., Veit A., Abu-El-Haija S., Belongie S., Cai D., Feng Z., Ferrari V., Gomes V., Gupta A., Narayanan D., Sun C., Chechik G, Murphy K. OpenImages: A public dataset for large-scale multi-label and multi-class image classification, 2016. Available from https://github.com/openimages".
• BibTeX: openimages

搜集汇总

数据集介绍

构建方式

Open Images数据集的构建基于对约900万张图片URL的收集，这些图片被标注了超过6000个类别的标签。图片的标注由Google Inc.根据CC BY 4.0许可证授权，而数据集内容则遵循Apache 2许可证发布。数据集被划分为训练集和验证集，每个图像都被赋予了零个、一个或多个图像级别的标签。训练集包含机器生成的标注，而验证集同时包含机器和人工标注，人工标注的目的是验证机器标注，从而在实际中消除了验证集中的假阳性（但不是假阴性）。

特点

该数据集的特点在于其规模宏大，标签类别众多，且提供了机器标注和人工标注两种形式，有利于模型的训练和验证。图像通过64位唯一ID进行标识，标签使用所谓的mids，可在Freebase或Google Knowledge Graph API中找到。每个标注都分配了一个从0.0到1.0的置信度分数，其中人工标注是确定的（正值1.0或负值0.0），而机器标注则具有分数置信度。此外，数据集还提供了图像的URL和元数据，以及两种类型的CSV文件：images.csv和labels.csv，分别存储图像信息和图像ID相关的标签。

使用方法

使用Open Images数据集时，用户可以从提供的URL下载图像及其元数据，以及机器和人工标注信息。用户可以导入标注到PostgreSQL数据库中，以便于进行更复杂的数据操作和分析。为了方便使用，数据集还提供了预训练的Inception v3模型，以及通过BigQuery平台访问的OpenImages标注。用户在使用数据集时应自行验证每张图片的许可证状态。

背景与挑战

背景概述

Open Images数据集，创建于2016年，是由Google公司主导的一个大型图像数据集。该数据集包含了大约900万张图像URL，这些图像被标注了超过6000个类别的标签。Open Images数据集的构建旨在促进大规模多标签和多类别图像分类的研究，其对计算机视觉领域产生了重要影响。数据集的标注由Google公司授权使用CC BY 4.0许可证，而数据集内容本身则遵循Apache 2许可证发布。

当前挑战

Open Images数据集在研究领域中面临的挑战主要包括：1)图像标注的准确性问题，尽管数据集已经通过人工验证标注来减少误判，但机器生成的标注仍然存在噪声；2)图像标签分布不均匀，某些标签的图像数量远多于其他标签，这可能导致模型训练的不平衡；3)数据集的版权问题，尽管数据集的构建者努力识别和使用知识共享许可的图像，但对每张图像的版权状态仍需用户自行核实。

常用场景

经典使用场景

Open Images数据集作为大规模多标签和多类图像分类的公共数据集，其经典使用场景主要在于图像识别与分类的研究和开发工作中。研究者可以利用此数据集训练深度学习模型，进行物体检测、场景识别等任务，从而推动计算机视觉技术的发展。

实际应用

在实际应用中，Open Images数据集广泛应用于图像识别系统、自动驾驶汽车、智能监控等领域。例如，在自动驾驶中，该数据集可用于训练车辆识别、行人和障碍物检测系统，以增强车辆的安全性能。

衍生相关工作

基于Open Images数据集，衍生了众多相关工作，包括但不限于图像分类模型的改进、错误标注的自动修正、图像分割等任务的研究。这些工作进一步推动了计算机视觉领域的理论发展和实际应用。