Multimodal-Fatima/CUB_train

---
dataset_info:
features:
- name: image
dtype: image
- name: description
dtype: string
- name: label
dtype:
class_label:
names:
'0': Black footed Albatross
'1': Laysan Albatross
'2': Sooty Albatross
'3': Groove billed Ani
'4': Crested Auklet
'5': Least Auklet
'6': Parakeet Auklet
'7': Rhinoceros Auklet
'8': Brewer Blackbird
'9': Red winged Blackbird
'10': Rusty Blackbird
'11': Yellow headed Blackbird
'12': Bobolink
'13': Indigo Bunting
'14': Lazuli Bunting
'15': Painted Bunting
'16': Cardinal
'17': Spotted Catbird
'18': Gray Catbird
'19': Yellow breasted Chat
'20': Eastern Towhee
'21': Chuck will Widow
'22': Brandt Cormorant
'23': Red faced Cormorant
'24': Pelagic Cormorant
'25': Bronzed Cowbird
'26': Shiny Cowbird
'27': Brown Creeper
'28': American Crow
'29': Fish Crow
'30': Black billed Cuckoo
'31': Mangrove Cuckoo
'32': Yellow billed Cuckoo
'33': Gray crowned Rosy Finch
'34': Purple Finch
'35': Northern Flicker
'36': Acadian Flycatcher
'37': Great Crested Flycatcher
'38': Least Flycatcher
'39': Olive sided Flycatcher
'40': Scissor tailed Flycatcher
'41': Vermilion Flycatcher
'42': Yellow bellied Flycatcher
'43': Frigatebird
'44': Northern Fulmar
'45': Gadwall
'46': American Goldfinch
'47': European Goldfinch
'48': Boat tailed Grackle
'49': Eared Grebe
'50': Horned Grebe
'51': Pied billed Grebe
'52': Western Grebe
'53': Blue Grosbeak
'54': Evening Grosbeak
'55': Pine Grosbeak
'56': Rose breasted Grosbeak
'57': Pigeon Guillemot
'58': California Gull
'59': Glaucous winged Gull
'60': Heermann Gull
'61': Herring Gull
'62': Ivory Gull
'63': Ring billed Gull
'64': Slaty backed Gull
'65': Western Gull
'66': Anna Hummingbird
'67': Ruby throated Hummingbird
'68': Rufous Hummingbird
'69': Green Violetear
'70': Long tailed Jaeger
'71': Pomarine Jaeger
'72': Blue Jay
'73': Florida Jay
'74': Green Jay
'75': Dark eyed Junco
'76': Tropical Kingbird
'77': Gray Kingbird
'78': Belted Kingfisher
'79': Green Kingfisher
'80': Pied Kingfisher
'81': Ringed Kingfisher
'82': White breasted Kingfisher
'83': Red legged Kittiwake
'84': Horned Lark
'85': Pacific Loon
'86': Mallard
'87': Western Meadowlark
'88': Hooded Merganser
'89': Red breasted Merganser
'90': Mockingbird
'91': Nighthawk
'92': Clark Nutcracker
'93': White breasted Nuthatch
'94': Baltimore Oriole
'95': Hooded Oriole
'96': Orchard Oriole
'97': Scott Oriole
'98': Ovenbird
'99': Brown Pelican
'100': White Pelican
'101': Western Wood Pewee
'102': Sayornis
'103': American Pipit
'104': Whip poor Will
'105': Horned Puffin
'106': Common Raven
'107': White necked Raven
'108': American Redstart
'109': Geococcyx
'110': Loggerhead Shrike
'111': Great Grey Shrike
'112': Baird Sparrow
'113': Black throated Sparrow
'114': Brewer Sparrow
'115': Chipping Sparrow
'116': Clay colored Sparrow
'117': House Sparrow
'118': Field Sparrow
'119': Fox Sparrow
'120': Grasshopper Sparrow
'121': Harris Sparrow
'122': Henslow Sparrow
'123': Le Conte Sparrow
'124': Lincoln Sparrow
'125': Nelson Sharp tailed Sparrow
'126': Savannah Sparrow
'127': Seaside Sparrow
'128': Song Sparrow
'129': Tree Sparrow
'130': Vesper Sparrow
'131': White crowned Sparrow
'132': White throated Sparrow
'133': Cape Glossy Starling
'134': Bank Swallow
'135': Barn Swallow
'136': Cliff Swallow
'137': Tree Swallow
'138': Scarlet Tanager
'139': Summer Tanager
'140': Artic Tern
'141': Black Tern
'142': Caspian Tern
'143': Common Tern
'144': Elegant Tern
'145': Forsters Tern
'146': Least Tern
'147': Green tailed Towhee
'148': Brown Thrasher
'149': Sage Thrasher
'150': Black capped Vireo
'151': Blue headed Vireo
'152': Philadelphia Vireo
'153': Red eyed Vireo
'154': Warbling Vireo
'155': White eyed Vireo
'156': Yellow throated Vireo
'157': Bay breasted Warbler
'158': Black and white Warbler
'159': Black throated Blue Warbler
'160': Blue winged Warbler
'161': Canada Warbler
'162': Cape May Warbler
'163': Cerulean Warbler
'164': Chestnut sided Warbler
'165': Golden winged Warbler
'166': Hooded Warbler
'167': Kentucky Warbler
'168': Magnolia Warbler
'169': Mourning Warbler
'170': Myrtle Warbler
'171': Nashville Warbler
'172': Orange crowned Warbler
'173': Palm Warbler
'174': Pine Warbler
'175': Prairie Warbler
'176': Prothonotary Warbler
'177': Swainson Warbler
'178': Tennessee Warbler
'179': Wilson Warbler
'180': Worm eating Warbler
'181': Yellow Warbler
'182': Northern Waterthrush
'183': Louisiana Waterthrush
'184': Bohemian Waxwing
'185': Cedar Waxwing
'186': American Three toed Woodpecker
'187': Pileated Woodpecker
'188': Red bellied Woodpecker
'189': Red cockaded Woodpecker
'190': Red headed Woodpecker
'191': Downy Woodpecker
'192': Bewick Wren
'193': Cactus Wren
'194': Carolina Wren
'195': House Wren
'196': Marsh Wren
'197': Rock Wren
'198': Winter Wren
'199': Common Yellowthroat
- name: file_name
dtype: string
- name: id
dtype: int64
splits:
- name: train
num_bytes: 583337273.046
num_examples: 5994
download_size: 583734869
dataset_size: 583337273.046
---
# Dataset Card for "CUB_train"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: CUB_train

数据集特征

• 特征列表:
  • image: 图像数据
  • description: 字符串类型描述
  • label: 类别标签，包含以下类别：
    • Black footed Albatross 至 Common Yellowthroat，共计199种不同的鸟类标签
  • file_name: 文件名，字符串类型
  • id: 数据集中的唯一标识，整数类型

数据集分割

• 分割名称: train
• 数据大小: 583337273.046字节
• 示例数量: 5994个

数据集大小

• 下载大小: 583734869字节
• 数据集实际大小: 583337273.046字节

搜集汇总

数据集介绍

构建方式

在鸟类学与计算机视觉交叉领域，CUB_train数据集作为细粒度视觉分类的重要资源，其构建过程体现了严谨的科学方法。该数据集基于经典的Caltech-UCSD Birds-200-2011数据集，通过系统化筛选与重组形成训练子集。构建者从原始数据中提取了包含5994个样本的训练分割，每个样本均整合了高分辨率鸟类图像、对应的文本描述以及经过专家标注的物种标签。数据采集过程注重物种多样性覆盖，涵盖了北美地区200种鸟类，每张图像均关联了精确的形态学描述与分类学标识，为多模态学习提供了结构化的数据基础。

特点

该数据集的核心特征在于其多模态结构与细粒度分类体系的深度融合。数据集包含图像、文本描述和类别标签三重对齐信息，其中图像呈现鸟类在自然栖息地中的姿态，文本描述则详细记载了羽毛颜色、喙部形态等鉴别特征。类别体系涵盖从信天翁到莺类等200个物种，每个物种均配有拉丁学名与通用名称的双重标识。数据样本在视觉差异上具有高度相似性，这对模型的细微特征辨别能力提出了挑战，同时也为跨模态表征学习提供了丰富的语义对应关系。

使用方法

在应用层面，该数据集主要服务于多模态机器学习模型的训练与评估。研究者可加载图像数据用于卷积神经网络的视觉特征提取，同时结合文本描述训练跨模态嵌入空间。典型流程包括使用HuggingFace Datasets库直接加载数据集，通过标准数据划分进行模型训练。该数据集适用于图像分类、视觉问答、图文检索等任务，其细粒度标签结构特别适合迁移学习与少样本学习研究。预处理时需注意保持图像与文本的对应关系，并利用类别编码实现有效的监督学习。

背景与挑战

背景概述

在计算机视觉与自然语言处理的交叉领域，细粒度视觉分类任务长期面临识别精度不足的挑战。CUB-200-2011数据集由加州理工学院于2010年创建，旨在推动细粒度鸟类图像识别研究。该数据集包含200种北美鸟类共11788张图像，每张图像均标注了鸟类边界框与部位关键点，为模型理解类内差异与类间相似性提供了标准基准。其严谨的标注体系深刻影响了细粒度识别、视觉注意力机制及多模态学习的发展，成为该领域里程碑式的资源。

当前挑战

该数据集致力于解决细粒度视觉分类中类间相似性高、类内差异性大的核心难题，要求模型捕捉细微的形态与纹理特征。构建过程中，数据采集面临野外环境光照变化、姿态多样性及背景干扰等挑战；标注工作则需鸟类学专家精确标识部位关键点，耗时耗力且易引入主观偏差。此外，数据规模有限与类别不平衡问题制约了深度学习模型的泛化能力，而多模态信息（如文本描述）的融合利用仍存在语义对齐与特征交互的复杂性。

常用场景

经典使用场景

在计算机视觉与自然语言处理的交叉领域，CUB_train数据集作为鸟类图像与文本描述的多模态资源，其经典使用场景聚焦于细粒度视觉分类任务。研究者常利用该数据集中的高分辨率鸟类图像及其对应的详细文本描述，训练模型以区分外观极为相似的鸟类亚种，例如通过羽毛纹理、喙部形状等细微特征实现精准识别。这一过程不仅考验模型的视觉感知能力，更推动了对跨模态信息融合机制的深入探索。

衍生相关工作

围绕CUB_train数据集，学术界衍生了一系列经典研究工作。早期工作如Part-based R-CNN开创了基于部件检测的细粒度分类方法；后续研究如Cross-modal Attention Networks则深入探索了图像与文本的对齐机制。近年来，该数据集常被用于评估视觉-语言预训练模型（如CLIP）的零样本迁移能力，推动了多模态表示学习在开放世界识别任务中的进展，成为领域内不可或缺的基准资源。

数据集最近研究

最新研究方向

在细粒度视觉分类领域，CUB数据集作为鸟类图像识别的基准，持续推动着多模态学习的前沿探索。当前研究聚焦于结合图像与文本描述，利用视觉-语言预训练模型提升模型对细微特征的理解能力，例如通过对比学习对齐图像与文本的语义空间。这一方向与生成式人工智能的热潮紧密相连，旨在构建更通用、可解释的视觉系统，对生物多样性监测和生态保护具有重要的应用价值。