CVasNLPExperiments/OxfordFlowers_test_google_flan_t5_xl_mode_C_A_T_ns_6149

--- dataset_info: features: - name: id dtype: int64 - name: prompt dtype: string - name: true_label dtype: string - name: prediction dtype: string splits: - name: fewshot_0_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices num_bytes: 2519586 num_examples: 6149 - name: fewshot_1_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices num_bytes: 4889340 num_examples: 6149 - name: fewshot_3_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices num_bytes: 9611851 num_examples: 6149 - name: fewshot_5_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices num_bytes: 14323006 num_examples: 6149 download_size: 4144345 dataset_size: 31343783 --- # Dataset Card for "OxfordFlowers_test_google_flan_t5_xl_mode_C_A_T_ns_6149" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)数据集信息： 特征字段： - 字段名：id 数据类型：64位整数 - 字段名：提示词（prompt） 数据类型：字符串 - 字段名：真实标签（true_label） 数据类型：字符串 - 字段名：预测结果（prediction） 数据类型：字符串 数据集划分： - 划分名称：fewshot_0_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices 字节数：2519586 样本数：6149 - 划分名称：fewshot_1_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices 字节数：4889340 样本数：6149 - 划分名称：fewshot_3_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices 字节数：9611851 样本数：6149 - 划分名称：fewshot_5_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices 字节数：14323006 样本数：6149 下载大小：4144345 数据集总大小：31343783 # 「OxfordFlowers_test_google_flan_t5_xl_mode_C_A_T_ns_6149」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: OxfordFlowers_test_google_flan_t5_xl_mode_C_A_T_ns_6149

数据集特征

• id: 整数类型 (int64)
• prompt: 字符串类型 (string)
• true_label: 字符串类型 (string)
• prediction: 字符串类型 (string)

数据集分割

• fewshot_0_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices
  • 大小: 2519586 字节
  • 示例数量: 6149
• fewshot_1_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices
  • 大小: 4889340 字节
  • 示例数量: 6149
• fewshot_3_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices
  • 大小: 9611851 字节
  • 示例数量: 6149
• fewshot_5_clip_tags_ViT_L_14_LLM_Description_gpt3_downstream_tasks_visual_genome_ViT_L_14_clip_tags_ViT_L_14_simple_specific_rices
  • 大小: 14323006 字节
  • 示例数量: 6149

数据集大小

• 下载大小: 4144345 字节
• 数据集总大小: 31343783 字节

搜集汇总

数据集介绍

构建方式

该数据集源自经典的Oxford Flowers图像分类基准，经过精心设计以适配大语言模型的零样本与少样本评估。构建过程中，选取了测试集共6149个样本，每个样本包含唯一标识符、原始提示文本、真实标签及由google_flan_t5_xl模型生成的预测结果。数据集按少样本示例数量划分为四个子集，分别对应0、1、3、5个示例，每个子集均保持相同样本数量，确保了跨配置的可比性。提示模板采用'C_A_T'模式，结合CLIP标签与GPT-3生成的描述，形成了多层次语义引导。

特点

该数据集的核心特点在于其多维度评估能力，通过不同少样本设置系统性地衡量模型在图像分类任务中的泛化性能。每个子集包含6149个样本，数据量均衡，便于进行消融研究。预测结果与真实标签的配对存储，使得可直接计算准确率等指标。此外，提示构建融合了视觉语言模型的双重知识——CLIP的视觉标签与GPT-3的文本描述，有效模拟了真实场景中多模态信息的交互。数据集的命名规范清晰，便于追溯模型、模板及采样策略的具体配置。

使用方法

使用该数据集时，研究者可直接加载各子集进行模型性能分析。通过对比'prediction'与'true_label'字段，可快速评估flan-t5-xl在不同少样本设置下的分类准确率。提示文本'prompt'字段可用于复现或改进现有提示工程策略。数据集支持按子集名称进行筛选，便于针对性地研究少样本数量对模型行为的影响。对于需要扩展分析的场景，可结合原始Oxford Flowers数据集进行更深入的错误模式挖掘或特征可视化研究。

背景与挑战

背景概述

OxfordFlowers数据集是计算机视觉领域中经典的细粒度图像分类基准，由牛津大学视觉几何组于2008年创建，旨在解决花卉物种的精细识别问题。该数据集包含102类英国常见花卉，每类约40至80张图像，总计超过8000张，其标注精细、类间差异微小，对模型区分相似视觉特征的能力提出了严苛考验。随着多模态学习与提示工程的兴起，研究者开始探索将语言模型与视觉特征结合以提升分类性能。本数据集版本由HuggingFace社区维护，整合了Google Flan-T5 XL语言模型的零样本与少样本预测结果，构建了涵盖6149个测试样本的多模态评估基准，为评估语言模型在细粒度视觉任务中的泛化能力提供了关键资源，推动了视觉与语言交叉领域的研究进展。

当前挑战

当前数据集的挑战主要体现在两个层面。在领域问题层面，细粒度分类任务要求模型捕捉花瓣纹理、颜色渐变等局部细微差异，而传统视觉特征与语言提示的融合易受语义歧义干扰，导致分类准确率受限；此外，少样本场景下语言模型对视觉概念的映射存在偏差，难以稳定提升识别性能。在构建过程中，数据集面临标签一致性维护的难题——源自多个视觉特征提取器（如CLIP ViT-L/14）与语言模型（如GPT-3）的标注需对齐至统一标准，不同来源的预测结果可能存在冲突；同时，6149个样本的规模在覆盖物种多样性时仍显不足，易导致模型过拟合于特定花卉类别，削弱跨品种泛化能力。

常用场景

经典使用场景

在细粒度图像分类与多模态学习的交叉领域中，OxfordFlowers测试集常被用作评估视觉-语言模型泛化能力的基准。该数据集通过引入基于CLIP和Flan-T5的少样本提示策略，构建了从图像标签到自然语言描述的多样化推理路径，经典场景涵盖零样本与少样本条件下的花卉品种识别。研究者利用其结构化的'prompt-prediction'对，可系统分析大型语言模型在视觉描述生成任务中对上下文信息的敏感度，尤其适用于探究提示工程对分类精度的调控效应。

解决学术问题

该数据集核心解决了多模态模型在细粒度分类中因标注稀疏导致的过拟合问题。通过提供从CLIP视觉标签到GPT-3生成描述的层级化语义映射，它揭示了语言先验如何补偿视觉特征在高相似度类别间的区分不足。学术上，它推动了提示学习理论在开放世界识别中的验证，证明了少样本示例数量（如1-shot至5-shot）与模型泛化边界之间的非线性关系，为理解视觉-语言预训练模型的认知鲁棒性提供了量化实验平台。

衍生相关工作

该数据集衍生出多项关于视觉-语言提示优化的开创性工作。例如，研究者基于其fewshot_0至fewshot_5的分裂设计，提出了动态上下文校准方法，通过调整CLIP标签的语义粒度提升Flan-T5在零样本下的推理一致性。另有工作利用其'prediction'字段对比了不同提示模板（如C-A-T模式）对生成描述准确率的影响，进而催生了自适应提示集成框架。此外，该数据集还启发了针对视觉基因组描述与简洁标签间语义鸿沟的跨模态对齐研究。