iNaturalist Species Classification and Detection Dataset (iNat2017)

iNaturalist Species Classification and Detection Dataset (iNat2017) 是一个大规模的图像数据集，由加州理工学院、Google、康奈尔科技和iNaturalist合作创建。该数据集包含859,000张来自全球超过5,000种不同动植物的图像，特别强调视觉上相似的物种和多样化的拍摄环境。数据集的收集过程涉及多种相机类型和图像质量，以及由多位公民科学家验证的大类不平衡。iNat2017数据集旨在推动野外数据的大规模物种分类和检测技术的发展，特别是在处理类别不平衡和细粒度分类方面的挑战。The iNaturalist Species Classification and Detection Dataset (iNat2017) is a large-scale image dataset co-created by the California Institute of Technology, Google, Cornell Tech, and iNaturalist. It encompasses over 859,000 images representing more than 5,000 distinct animal and plant species sourced from across the globe, with a particular focus on visually similar species and diverse capture environments. The dataset was collected using multiple camera types and a spectrum of image qualities, and it features a notable class imbalance that was validated by multiple citizen scientists. The iNat2017 dataset is intended to advance the development of large-scale species classification and detection technologies leveraging field-collected data, specifically addressing the challenges of class imbalance and fine-grained species classification.

搜集汇总

数据集介绍

构建方式

iNat2017数据集由加州理工学院、谷歌、康奈尔科技与iNaturalist平台联合构建。数据源自iNaturalist社区科学网站，收集了全球自然爱好者提交的摄影观测记录。为确保数据质量，仅选取经多位公民科学家确认的“研究级”标签物种，并设定每个物种至少被20位独立观察者观测且拥有20次以上观测记录的门槛。随后按观察者划分数据集：将每个物种的观察者按观测次数升序排列，前40%的观察者及其照片归入测试集，剩余60%用于训练与验证。进一步按相似策略将训练-验证集拆分为训练集和验证集，最终获得约57.9万张训练图像、9.6万张验证图像和18.3万张测试图像，覆盖5089个物种。所有图像被缩放至最大边长为800像素，并额外为9个超类的2854个物种收集了超过56万个手动标注的边界框。

特点

该数据集的核心特点在于其高度模拟自然世界的长尾分布与细粒度视觉挑战。与现有均匀分布的数据集不同，iNat2017中物种图像数量极不均衡，最丰富类别的图像数量是最贫乏类别的435倍以上，真实反映了生物多样性监测中常见的数据稀疏问题。数据集涵盖13个超类，包含大量视觉相似物种，如仅凭斑点数量区分的瓢虫，对细粒度分类能力提出严苛考验。所有图像均由非计算机视觉研究者出于自然观察目的拍摄，避免了网络爬取数据的选择偏差，且经多人验证确保标签可靠性。图像采集于全球各地，使用多种相机设备，质量参差不齐，其中大量目标物体尺寸较小或中等，进一步增加了检测难度。

使用方法

该数据集主要用于评估和推动长尾分布下的细粒度图像分类与目标检测算法。对于分类任务，研究者可采用标准监督学习范式，以训练集图像及其物种标签训练深度神经网络，并在验证集与测试集上评估Top-1和Top-5准确率。论文基线实验使用ImageNet预训练模型进行微调，采用随机裁剪、指数衰减学习率与RMSProp优化器，单中心裁剪测试。检测任务则基于Faster-RCNN框架，将边界框标注与细粒度类别标签结合，使用COCO评价指标计算平均精度。值得注意的是，数据集按观察者而非随机图像划分，确保同一观察者的拍摄风格、设备与环境不会跨集泄露，从而更真实地评估模型泛化能力。研究者还可利用其长尾特性探索小样本学习、类别不平衡处理及细粒度检测等前沿课题。

背景与挑战

背景概述

在计算机视觉领域，现有图像分类数据集如ImageNet往往呈现类别间图像数量均匀分布的特点，这与自然界中物种丰度极不均衡的真实场景形成鲜明对比。为突破这一局限，加州理工学院、谷歌、康奈尔理工学院及iNaturalist平台的研究人员于2017年联合发布了iNaturalist物种分类与检测数据集（iNat2017）。该数据集包含来自全球超过5000个动植物物种的85.9万张图像，由Grant Van Horn、Oisin Mac Aodha、Yang Song等学者主导构建。其核心研究问题聚焦于长尾分布下的细粒度视觉识别，旨在推动模型在真实世界不平衡数据中的泛化能力。iNat2017的出现填补了大规模自然物种细粒度基准的空白，为生态监测自动化提供了关键数据支撑，并促使领域关注低样本学习与类别不均衡挑战。

当前挑战

iNat2017数据集面临的核心挑战首先源于其固有的长尾分布特性：训练集中最丰富类别的图像数量是最稀少类别的435倍，导致当前最优非集成模型仅达到67%的Top-1分类准确率，尤其在仅有少量训练样本的类别上表现不佳。其次，物种间视觉相似性极高（如仅斑点数量差异的瓢虫），使得细粒度判别成为难题。在构建过程中，数据采集面临公民科学验证的复杂性，需从iNaturalist平台筛选至少20位独立观察者确认的研究级观察记录，并确保训练/测试集按观察者划分以消除设备与背景偏差。此外，边界框标注需针对非专家标注者设计策略，仅标注超类而非细粒度物种，并处理模糊、遮挡及多实例图像，最终获取56万余个边界框，但部分超类（如植物）因实例难以界定而无法标注。

常用场景

经典使用场景

iNat2017数据集在计算机视觉领域中最经典的使用场景是长尾分布下的细粒度物种分类与检测。该数据集涵盖超过5000个动植物物种，图像分布极不均衡，部分类别仅有少数样本，而另一些则拥有数百张图像。这种高度不平衡的特性使其成为评估和推动模型在真实世界长尾数据上表现的关键基准。研究者常利用该数据集测试深度卷积神经网络（如ResNet、Inception系列）在类别间视觉相似性高、样本数量悬殊条件下的分类与定位能力，并验证模型在少量样本类别上的泛化性能。

衍生相关工作

围绕iNat2017数据集衍生了一系列具有影响力的经典工作。在分类任务上，研究者提出了类别重加权训练、数据增强和自蒸馏等方法以缓解长尾效应，例如使用类平衡采样和标签平滑技术提升尾部类别准确率。在检测任务中，Faster-RCNN等框架被用于细粒度目标定位，并催生了多尺度特征融合和难例挖掘策略的改进。此外，该数据集还激发了关于层次化分类与开放世界识别的研究，例如利用物种间的 taxonomic 关系构建结构化损失函数，或在测试集中引入未见类别以评估模型的泛化边界。这些工作共同推动了计算机视觉在真实生态场景中的理论进步与方法创新。

数据集最近研究

最新研究方向

在生物多样性监测与计算机视觉交叉领域，iNat2017数据集正引领着长尾分布下细粒度图像分类与检测的前沿探索。该数据集以超过5000个物种、近86万张图像的真实生态数据为基石，直面自然界中物种分布极不均衡的固有挑战，推动研究者突破传统均匀分布数据集的性能瓶颈。当前热点聚焦于低样本学习与类别不平衡鲁棒性，如利用元学习或自监督策略提升稀有物种的识别精度，同时结合迁移学习从高频物种向低频物种传递视觉知识。此外，该数据集催生了面向移动端与嵌入式设备的轻量化模型设计，旨在实现野外实时物种识别，助力全球生物多样性保护与公民科学项目。其深远意义在于重塑了计算机视觉对现实世界复杂性的认知，为构建适应生态监测的智能系统提供了关键实验平台。

相关研究论文

• The iNaturalist Species Classification and Detection Dataset

  加州理工学院 · 2018年