cassiekang/cub200_dataset

--- license: mit task_categories: - image-classification language: - en tags: - biology - birds - fine-grained image classification - natural language description size_categories: - 1K<n<10K --- # Dataset Card for CUB_200_2011 ## Dataset Description - **Homepage:** https://www.vision.caltech.edu/datasets/cub_200_2011/ - **Citation:** @techreport{WahCUB_200_2011, Title = , Author = {Wah, C. and Branson, S. and Welinder, P. and Perona, P. and Belongie, S.}, Year = {2011} Institution = {California Institute of Technology}, Number = {CNS-TR-2011-001} } ### Dataset Summary The Caltech-UCSD Birds 200-2011 dataset (CUB-200-2011) is an extended version of the original CUB-200 dataset, featuring photos of 200 bird species primarily from North America. This 2011 version significantly expands its predecessor by doubling the number of images per class and introducing new part location annotations, alongside collecting detailed natural language descriptions for each image through Amazon Mechanical Turk (AMT). The dataset includes a total of 11,788 images, split into 5,994 for training and 5,794 for testing. ### Supported Tasks and Leaderboards This dataset can support a variety of computer vision tasks, including but not limited to: * Fine-Grained Image Classification * Object Detection and Localization * Semantic Segmentation * Attribute-Based Recognition * Multitask Learning ### Languages The dataset includes annotations in English ## Dataset Structure ### Data Instances  A data instance in the CUB-200-2011 dataset comprises an image of a bird species, along with annotations including bounding boxes, part locations, binary attributes, and natural language descriptions. ``` { "text": "A photo of a Tropical King Bird", "image": cassiekang/train-00000-of-00001-246c29c8515f0b3f/Tropical_Kingbird_0064_69889.jpg } ``` ### Data Fields * images: Photographs of birds across 200 species. * annotations: This includes: * bounding boxes: Specify the bird's location within the image. * segmentation labels: Provide pixel-wise segmentation for precise object segmentation. * part locations: 15 specific parts of the bird are annotated for detailed analysis. * binary attributes: 312 attributes indicating the presence or absence of certain features or behaviors. * natural language descriptions: Ten single-sentence descriptions per image, collected via AMT. ### Data Splits * Training set: 5,994 images * Test set: 5,794 images ## Considerations for Using the Data ### Social Impact of Dataset The dataset contributes to advancements in computer vision, particularly in fine-grained image classification and object detection, with potential applications in biodiversity monitoring and species conservation.--- license: MIT许可证（MIT） task_categories: - 图像分类（image-classification） language: - 英语（en） tags: - 生物学 - 鸟类 - 细粒度图像分类（fine-grained image classification） - 自然语言描述 size_categories: - 1000 < 样本量 < 10000 --- # CUB_200_2011 数据集卡片 ## 数据集说明 - **官方主页：** https://www.vision.caltech.edu/datasets/cub_200_2011/ - **引用文献：** bibtex @techreport{WahCUB_200_2011, Title = , Author = {Wah, C. 和 Branson, S. 和 Welinder, P. 和 Perona, P. 和 Belongie, S.}, Year = {2011} Institution = {加州理工学院（California Institute of Technology）}, Number = {CNS-TR-2011-001} } ### 数据集概览 加州理工学院-加州大学圣地亚哥分校鸟类200-2011数据集（CUB-200-2011）是原始CUB-200数据集的扩展版本，收录了主要分布于北美的200种鸟类的实拍影像。2011版对初代数据集进行了全面扩充：将每个类别的图像数量翻倍，新增了鸟类身体部位定位标注，并通过亚马逊机械 Turk（Amazon Mechanical Turk，AMT）为每张图像收集了详细的自然语言描述。该数据集总计包含11788张图像，其中训练集5994张，测试集5794张。 ### 支持任务与基准榜单 本数据集可支撑多种计算机视觉任务，涵盖但不限于： * 细粒度图像分类 * 目标检测与定位 * 语义分割（semantic segmentation） * 基于属性的识别 * 多任务学习 ### 语言说明 本数据集的标注文本语言为英语。 ## 数据集结构 ### 数据实例  CUB-200-2011数据集的单条数据实例包含对应鸟类物种的实拍影像，以及边界框（bounding boxes）、部位定位标注、二元属性标注与自然语言描述等注释信息。 json { "text": "一张热带霸鹟的实拍照片", "image": "cassiekang/train-00000-of-00001-246c29c8515f0b3f/Tropical_Kingbird_0064_69889.jpg" } ### 数据字段 * 图像（images）：涵盖200个鸟类物种的实拍影像。 * 注释（annotations）：包含以下内容： * 边界框（bounding boxes）：标注图像中鸟类的所在位置； * 分割掩码标签（segmentation labels）：提供像素级别的分割掩码，用于实现精准的目标分割； * 部位定位标注：对鸟类的15个特定身体部位进行标注，以支持精细化分析； * 二元属性标注：共包含312个属性，用于指示特定外观特征或行为的存在与否； * 自然语言描述：通过AMT收集的每张图像对应的10条单句描述文本。 ### 数据划分 * 训练集：共计5994张图像 * 测试集：共计5794张图像 ## 数据使用注意事项 ### 数据集的社会影响 本数据集推动了计算机视觉领域的技术进步，尤其在细粒度图像分类与目标检测方向具有重要价值，其潜在应用场景涵盖生物多样性监测与物种保护工作。

原始信息汇总

数据集概述

数据集描述

• 名称: Caltech-UCSD Birds 200-2011 (CUB-200-2011)
• 类别:
  • 任务: 图像分类
  • 语言: 英语
  • 标签: 生物学, 鸟类, 细粒度图像分类, 自然语言描述
• 大小: 1K<n<10K
• 概述: 该数据集包含200种北美鸟类的照片，共计11,788张图像，分为5,994张训练图像和5,794张测试图像。数据集不仅提供了图像，还包括边界框、部分位置、二进制属性和自然语言描述。

数据集结构

数据实例

每个数据实例包括一张鸟类图像及其相关注释，如边界框、部分位置、二进制属性和自然语言描述。

数据字段

• 图像: 200种鸟类的照片。
• 注释:
  • 边界框: 指定鸟在图像中的位置。
  • 分割标签: 提供像素级的精确对象分割。
  • 部分位置: 对鸟的15个特定部分进行注释。
  • 二进制属性: 312个属性，指示特定特征或行为的存在与否。
  • 自然语言描述: 每张图像有10个单句描述，通过AMT收集。

数据分割

• 训练集: 5,994张图像
• 测试集: 5,794张图像

数据集应用

该数据集支持多种计算机视觉任务，包括细粒度图像分类、对象检测和定位、语义分割、属性基识别和多任务学习。

搜集汇总

数据集介绍

构建方式

CUB-200-2011数据集由加州理工学院与加州大学圣迭戈分校联合构建，作为CUB-200数据集的增强版本，旨在推动细粒度图像识别领域的发展。该数据集收录了涵盖200个北美鸟类物种的11,788张图像，其中训练集包含5,994张，测试集包含5,794张。在构建过程中，研究者不仅通过扩充每类图像数量提升了数据规模，还引入了新的部件位置标注，并借助Amazon Mechanical Turk平台为每张图像采集了十条自然语言描述语句，从而形成了多维度、高精度的标注体系。

特点

该数据集的核心特色在于其精细化的多模态标注结构。每张图像不仅包含边界框以定位鸟类主体，还提供了15个关键部件的位置信息、312个二值属性标签以及像素级分割掩码，支持从局部到整体的多粒度分析。此外，自然语言描述的加入使得数据集兼具视觉与文本信息，为跨模态学习与细粒度分类任务提供了独特资源。所有标注均以英文呈现，确保了在国际学术研究中的通用性。

使用方法

数据集适用于多种计算机视觉任务的训练与评估，包括细粒度图像分类、目标检测、语义分割及多任务学习。使用时，用户可直接加载图像及其对应的边界框、部件位置、属性标签和文本描述进行模型训练。数据已按标准划分为训练集与测试集，无需额外处理。建议研究者结合预训练模型进行迁移学习，以充分利用其丰富的标注信息，提升在鸟类识别及相关生态监测任务上的性能。

背景与挑战

背景概述

细粒度图像分类作为计算机视觉领域的重要分支，旨在区分同一大类下的不同子类别，其挑战性远高于常规图像分类任务。在此背景下，加州理工学院与加州大学圣迭戈分校的研究团队于2011年发布了Caltech-UCSD Birds 200-2011数据集（简称CUB-200-2011），由Wah、Branson、Welinder、Perona和Belongie等学者共同创建。该数据集是对原始CUB-200数据集的重大扩展，包含200种北美鸟类的11,788张图像，每类图像数量翻倍，并新增了部件位置标注和通过Amazon Mechanical Turk收集的详细自然语言描述。CUB-200-2011极大地推动了细粒度识别、目标定位、语义分割及多任务学习等领域的研究，成为评估算法在细微视觉差异下性能的标杆性基准，对生态监测和物种保护等实际应用产生了深远影响。

当前挑战

CUB-200-2011数据集所解决的领域核心挑战在于细粒度图像分类中的类间相似性与类内多样性问题，即不同鸟类物种间差异微小（如羽色、喙形），而同一物种内因姿态、光照和背景变化呈现巨大差异，传统分类模型难以有效区分。构建过程中，研究者面临多重困难：首先，收集覆盖200个物种的高质量图像需广泛野外拍摄与专家验证，确保物种标注的准确性；其次，为每张图像标注15个精确部件位置（如头部、翅膀）和312个二元属性特征，工作量大且依赖专业鸟类学知识；此外，通过众包平台获取每张图像的十句自然语言描述，需设计严格质量控制机制以过滤低质描述，这些步骤共同构成了数据集构建的显著挑战。

常用场景

经典使用场景

CUB-200-2011数据集作为细粒度图像分类领域的标杆性资源，其经典使用场景聚焦于区分视觉上高度相似的鸟类物种。研究者通过该数据集训练模型，学习捕捉鸟类在羽毛纹理、喙形、翼展等细微形态特征上的差异，从而实现对200个亚类别的精准判别。这一场景不仅考验模型对局部细节的敏感度，还推动了注意力机制、特征融合等技术的发展，使其成为评估细粒度分类算法性能的黄金标准。

衍生相关工作

该数据集衍生了一系列经典工作，如基于部件定位的细粒度识别方法通过显式建模鸟类身体区域提升了分类鲁棒性。同时，自然语言描述的引入催生了视觉-语言联合建模研究，例如利用句子级语义指导图像特征学习。此外，CUB-200-2011还推动了对抗生成网络在细粒度图像生成中的应用，以及少样本学习算法在鸟类物种上的验证，这些工作共同拓展了计算机视觉在复杂视觉概念理解上的边界。

数据集最近研究

最新研究方向

在当前计算机视觉领域，CUB-200-2011数据集已成为细粒度图像分类研究的基石，其丰富的标注信息（包括部件位置、二元属性和自然语言描述）推动了多项前沿方向的发展。近期研究热点集中于跨模态学习与视觉-语言模型的结合，利用该数据集中每张图像附带的十句自然语言描述，探索如何通过文本语义引导提升鸟类物种识别的精度，尤其是在相似物种间的区分能力。此外，该数据集在零样本学习和开放世界识别任务中扮演关键角色，研究者利用其细粒度属性标注来构建更具泛化性的分类器，以应对现实场景中新物种的出现。随着生物多样性监测需求的日益增长，该数据集还促进了环保领域AI应用的发展，例如通过自动识别技术辅助鸟类种群调查和栖息地保护，凸显了其在生态学与计算机科学交叉研究中的深远意义。