Multimodal-Fatima/descriptors-text-davinci-003

Name: Multimodal-Fatima/descriptors-text-davinci-003
Creator: Multimodal-Fatima
Published: 2023-04-04 19:10:07
License: 暂无描述

Hugging Face2023-04-04 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/Multimodal-Fatima/descriptors-text-davinci-003

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: features: - name: vocab dtype: string - name: descriptions sequence: string - name: prompt_descriptions sequence: string splits: - name: food101 num_bytes: 58525 num_examples: 101 - name: cifar100 num_bytes: 54081 num_examples: 100 - name: visualgenome num_bytes: 1092697 num_examples: 1913 - name: dtd num_bytes: 25204 num_examples: 47 - name: oxfordflowers num_bytes: 58560 num_examples: 102 - name: oxfordpets num_bytes: 22322 num_examples: 37 - name: sun397 num_bytes: 243017 num_examples: 362 - name: fgvc num_bytes: 74126 num_examples: 100 - name: imagenet21k num_bytes: 604897 num_examples: 998 - name: birdsnap num_bytes: 322488 num_examples: 500 - name: caltech101 num_bytes: 56880 num_examples: 102 - name: coco num_bytes: 45186 num_examples: 80 - name: lvis num_bytes: 679195 num_examples: 1198 - name: stanfordcars num_bytes: 157786 num_examples: 196 - name: full num_bytes: 3000578 num_examples: 4951 download_size: 3257945 dataset_size: 6495542 --- # Dataset Card for "descriptors-text-davinci-003" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

--- dataset_info: 数据集信息: features: 特征项: - name: vocab dtype: 字符串型（string） - name: descriptions dtype: 字符串序列（sequence of string） - name: prompt_descriptions dtype: 字符串序列（sequence of string） splits: 数据集划分: - name: Food101（food101） num_bytes: 58525 num_examples: 101 - name: CIFAR-100（cifar100） num_bytes: 54081 num_examples: 100 - name: 视觉基因组（Visual Genome, visualgenome） num_bytes: 1092697 num_examples: 1913 - name: DTD（dtd，全称为可描述纹理数据集Describable Textures Dataset） num_bytes: 25204 num_examples: 47 - name: 牛津花卉数据集（oxfordflowers） num_bytes: 58560 num_examples: 102 - name: 牛津宠物数据集（oxfordpets） num_bytes: 22322 num_examples: 37 - name: SUN397场景数据集（sun397） num_bytes: 243017 num_examples: 362 - name: 细粒度视觉分类数据集FGVC（fgvc） num_bytes: 74126 num_examples: 100 - name: ImageNet-21K（imagenet21k） num_bytes: 604897 num_examples: 998 - name: BirdSnap鸟类数据集（birdsnap） num_bytes: 322488 num_examples: 500 - name: Caltech101数据集（caltech101） num_bytes: 56880 num_examples: 102 - name: COCO公共对象上下文数据集（coco） num_bytes: 45186 num_examples: 80 - name: LVIS大规模词汇实例分割数据集（lvis） num_bytes: 679195 num_examples: 1198 - name: 斯坦福汽车数据集（stanfordcars） num_bytes: 157786 num_examples: 196 - name: 全量集（full） num_bytes: 3000578 num_examples: 4951 download_size: 3257945 dataset_size: 6495542 --- # "descriptors-text-davinci-003" 数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

提供机构：

Multimodal-Fatima

原始信息汇总

数据集概述

数据集特征

vocab: 字符串类型
descriptions: 字符串序列类型
prompt_descriptions: 字符串序列类型

数据集分割

food101: 101个示例，占用58525字节
cifar100: 100个示例，占用54081字节
visualgenome: 1913个示例，占用1092697字节
dtd: 47个示例，占用25204字节
oxfordflowers: 102个示例，占用58560字节
oxfordpets: 37个示例，占用22322字节
sun397: 362个示例，占用243017字节
fgvc: 100个示例，占用74126字节
imagenet21k: 998个示例，占用604897字节
birdsnap: 500个示例，占用322488字节
caltech101: 102个示例，占用56880字节
coco: 80个示例，占用45186字节
lvis: 1198个示例，占用679195字节
stanfordcars: 196个示例，占用157786字节
full: 4951个示例，占用3000578字节

下载与数据集大小

下载大小: 3257945字节
数据集大小: 6495542字节

搜集汇总

数据集介绍

构建方式

该数据集名为Multimodal-Fatima/descriptors-text-davinci-003，旨在为多模态学习任务提供高质量的文本描述资源。其构建过程基于OpenAI的text-davinci-003模型，通过对多个经典视觉数据集中的类别词汇生成详尽的描述性文本。具体而言，数据集整合了food101、cifar100、visualgenome、dtd、oxfordflowers、oxfordpets、sun397、fgvc、imagenet21k、birdsnap、caltech101、coco、lvis、stanfordcars等14个子数据集，每个子集均包含类别名称（vocab）及其对应的描述序列（descriptions）和提示描述序列（prompt_descriptions）。最终，所有子集被合并为一个名为full的完整数据集，共计4951个样本，以支持跨领域的文本生成与理解研究。

特点

该数据集的核心特点在于其多源异构的整合能力与丰富的描述粒度。其覆盖了从细粒度物种分类（如birdsnap中的500种鸟类）到通用场景理解（如coco中的80个物体类别）的广泛领域，体现了视觉概念在文本空间中的多样性映射。每个样本包含三列结构：vocab为单一类别词汇，descriptions为模型生成的多条描述文本，prompt_descriptions则可能用于提示学习场景。这种分层设计使得数据集既可用于零样本分类中的文本原型构建，也可用于训练描述生成模型。此外，数据规模虽小（full子集仅4951例），但每个描述均源自强大语言模型，确保了文本的语义连贯性与多样性。

使用方法

该数据集的使用方法灵活多样，主要面向多模态学习与自然语言处理任务。用户可通过HuggingFace Datasets库直接加载，例如使用load_dataset('Multimodal-Fatima/descriptors-text-davinci-003', split='full')获取完整数据。在分类任务中，可利用descriptions字段作为类别的文本嵌入，辅助视觉模型的零样本分类或图文对齐。在生成任务中，prompt_descriptions可作为条件输入，用于微调语言模型以生成更符合视觉上下文的描述。此外，研究者可按需选择特定子集（如split='food101'）进行领域内实验，或合并多个子集构建跨域基准。数据以JSON格式存储，便于集成到PyTorch或TensorFlow的流水线中。

背景与挑战

背景概述

在计算机视觉与自然语言处理的交叉领域，视觉语言模型的发展依赖于高质量的多模态描述数据。Multimodal-Fatima/descriptors-text-davinci-003数据集应运而生，其创建于大型语言模型（如GPT-3的text-davinci-003版本）广泛应用的时期，由多模态研究团队构建，旨在为图像分类、细粒度识别及场景理解等任务提供丰富的文本描述。该数据集整合了Food101、CIFAR100、ImageNet21k等15个经典视觉基准的类别词汇与人工或模型生成的描述，覆盖从常见物体到复杂场景的广泛领域，为跨模态对齐与零样本学习研究提供了关键资源。其影响力体现在推动了解耦视觉表示与语言先验的融合，成为评估多模态模型泛化能力的重要测试床。

当前挑战

当前数据集面临的核心挑战包括：其一，领域问题层面，视觉语言模型常因描述与图像语义的偏差而产生误判，尤其在细粒度分类（如StanfordCars、Birdsnap）或抽象纹理（如DTD）任务中，现有描述可能缺乏区分性细节，导致模型难以捕捉类别间的微妙差异。其二，构建过程中，描述生成依赖text-davinci-003的单一模型输出，存在风格固化、领域覆盖不均的局限，例如VisualGenome的复杂场景描述可能遗漏关键对象关系，而COCO与LVIS的类别描述则因长尾分布而质量参差。此外，描述与原始标签的语义一致性验证不足，可能引入噪声，影响下游任务的可靠性。

常用场景

经典使用场景

在计算机视觉与自然语言处理的交叉领域中，Multimodal-Fatima/descriptors-text-davinci-003 数据集凭借其涵盖Food101、CIFAR100、Visual Genome等15个经典视觉子集的丰富描述文本，成为多模态对齐与零样本学习研究的基石。研究者常利用该数据集为图像生成语义稠密的文本描述，从而训练视觉语言模型理解细粒度类别差异，例如区分不同品种的鸟类或花卉。其核心应用场景在于构建能够从自然语言指令中识别视觉概念的智能系统，尤其在类别标签稀缺或动态变化的环境下，通过文本描述替代传统one-hot标签，实现类别无关的泛化推理。

衍生相关工作

基于该数据集，学术界涌现了多项标志性工作，例如CLIP的文本描述增强版本利用其语义多样性优化了对比学习目标，提升了跨模态检索的细粒度表现。另一经典工作DeViL通过引入描述引导的视觉推理模块，在视觉问答任务中实现了对隐含语义关系的精准建模。此外，Prompt Tuning领域的先驱研究借助该数据集验证了可学习描述模板在迁移学习中的有效性，推动了参数高效微调技术的发展。这些工作共同证实了高质量描述数据在推动视觉语言模型从感知走向认知中的核心价值。

数据集最近研究