penfever/JANuS_dataset
收藏资源简介：
JANuS数据集是一个用于视觉-语言模型实验的数据集，包含四个子数据集：ImageNet-100、OpenImages-100、LAION-100和YFCC-100。这些数据集都完全标注了真实标签，并且包含了从网页抓取的描述。数据集的设计目的是让研究人员能够比较不同标注策略对模型性能的影响。每个子数据集都至少包含两种标注来源：一种是整数形式的标签，映射到ImageNet-1k类别标签；另一种是自然语言描述，适合训练视觉-语言损失模型如CLIP。YFCC-100和LAION-100的标签是合成的，而ImageNet-100和OpenImages-100的标签是由人工标注的。
The JANuS dataset is a benchmark dataset for vision-language model experiments, consisting of four sub-datasets: ImageNet-100, OpenImages-100, LAION-100, and YFCC-100. All these sub-datasets are fully annotated with ground-truth labels and include descriptions scraped from the web. The dataset is designed to enable researchers to compare the impact of different annotation strategies on model performance. Each sub-dataset contains at least two types of annotation sources: one is integer-format labels that map to ImageNet-1k category labels, and the other is natural language descriptions suitable for training vision-language loss models such as CLIP. The labels for YFCC-100 and LAION-100 are synthetic, while those for ImageNet-100 and OpenImages-100 are manually annotated.
数据集概述
数据集名称
JANuS (Joint Annotations and Names)
数据集用途
- 用于控制实验的视觉-语言模型。
- 允许研究人员比较不同标签策略对模型性能的影响。
数据集内容
- ImageNet-100: 包含超过50,000个新注释样本的ImageNet超集，包括flickr-captions和blip-captions。
- OpenImages-100: OpenImages的子集，具有新的OpenImages到ImageNet类别的映射，恢复的原始flickr-captions和新的BLIP-captions。
- LAION-100: LAION-15m的子集，通过子集匹配策略选择的样本。
- YFCC-100: YFCC-15m的子集，通过子集匹配策略选择的样本。
数据集特点
- 所有数据集均完全标注有地面实况标签，并完全配有网络爬取的标题。
- 每个子集至少包含两种标签来源：
- idx 标签：整数，映射到ImageNet-1k类标签。
- caption 标签：自然语言标题，适用于训练如CLIP等视觉-语言损失模型。
数据集评估
- 评估方法与ImageNet模型相同，但仅评估ImageNet类别的子集。
数据集大小
- 数据集大小介于1M到10M之间。
相关任务
- 零样本分类
引用信息
@article{ feuer2023distributionally, title={Distributionally Robust Classification on a Data Budget}, author={Benjamin Feuer and Ameya Joshi and Minh Pham and Chinmay Hegde}, journal={Transactions on Machine Learning Research}, issn={2835-8856}, year={2023}, url={https://openreview.net/forum?id=D5Z2E8CNsD}, note={} }
