tomas-gajarsky/cifar100-lt

--- annotations_creators: - crowdsourced language_creators: - found language: - en license: apache-2.0 multilinguality: - monolingual size_categories: - 10K<n<100K source_datasets: - cifar100 task_categories: - image-classification task_ids: [] paperswithcode_id: cifar-100 pretty_name: Cifar100-LT dataset_info: features: - name: img dtype: image - name: fine_label dtype: class_label: names: '0': apple '1': aquarium_fish '2': baby '3': bear '4': beaver '5': bed '6': bee '7': beetle '8': bicycle '9': bottle '10': bowl '11': boy '12': bridge '13': bus '14': butterfly '15': camel '16': can '17': castle '18': caterpillar '19': cattle '20': chair '21': chimpanzee '22': clock '23': cloud '24': cockroach '25': couch '26': cra '27': crocodile '28': cup '29': dinosaur '30': dolphin '31': elephant '32': flatfish '33': forest '34': fox '35': girl '36': hamster '37': house '38': kangaroo '39': keyboard '40': lamp '41': lawn_mower '42': leopard '43': lion '44': lizard '45': lobster '46': man '47': maple_tree '48': motorcycle '49': mountain '50': mouse '51': mushroom '52': oak_tree '53': orange '54': orchid '55': otter '56': palm_tree '57': pear '58': pickup_truck '59': pine_tree '60': plain '61': plate '62': poppy '63': porcupine '64': possum '65': rabbit '66': raccoon '67': ray '68': road '69': rocket '70': rose '71': sea '72': seal '73': shark '74': shrew '75': skunk '76': skyscraper '77': snail '78': snake '79': spider '80': squirrel '81': streetcar '82': sunflower '83': sweet_pepper '84': table '85': tank '86': telephone '87': television '88': tiger '89': tractor '90': train '91': trout '92': tulip '93': turtle '94': wardrobe '95': whale '96': willow_tree '97': wolf '98': woman '99': worm - name: coarse_label dtype: class_label: names: '0': aquatic_mammals '1': fish '2': flowers '3': food_containers '4': fruit_and_vegetables '5': household_electrical_devices '6': household_furniture '7': insects '8': large_carnivores '9': large_man-made_outdoor_things '10': large_natural_outdoor_scenes '11': large_omnivores_and_herbivores '12': medium_mammals '13': non-insect_invertebrates '14': people '15': reptiles '16': small_mammals '17': trees '18': vehicles_1 '19': vehicles_2 config_name: cifar100 splits: - name: train - name: test num_bytes: 22605519 num_examples: 10000 download_size: 169001437 --- # Dataset Card for CIFAR-100-LT (Long Tail) ## Table of Contents - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Additional Information](#additional-information) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Homepage:** [CIFAR Datasets](https://www.cs.toronto.edu/~kriz/cifar.html) - **Paper:** [Paper imbalanced example](https://openaccess.thecvf.com/content_CVPR_2019/papers/Cui_Class-Balanced_Loss_Based_on_Effective_Number_of_Samples_CVPR_2019_paper.pdf) - **Leaderboard:** [r-10](https://paperswithcode.com/sota/long-tail-learning-on-cifar-100-lt-r-10) [r-100](https://paperswithcode.com/sota/long-tail-learning-on-cifar-100-lt-r-100) ### Dataset Summary The CIFAR-100-LT imbalanced dataset is comprised of under 60,000 color images, each measuring 32x32 pixels, distributed across 100 distinct classes. The number of samples within each class decreases exponentially with factors of 10 and 100. The dataset includes 10,000 test images, with 100 images per class, and fewer than 50,000 training images. These 100 classes are further organized into 20 overarching superclasses. Each image is assigned two labels: a fine label denoting the specific class, and a coarse label representing the associated superclass. ### Supported Tasks and Leaderboards - `image-classification`: The goal of this task is to classify a given image into one of 100 classes. The leaderboard is available [here](https://paperswithcode.com/sota/long-tail-learning-on-cifar-100-lt-r-100). ### Languages English ## Dataset Structure ### Data Instances A sample from the training set is provided below: ``` { 'img': <PIL.PngImagePlugin.PngImageFile image mode=RGB size=32x32 at 0x2767F58E080>, 'fine_label': 19, 'coarse_label': 11 } ``` ### Data Fields - `img`: A `PIL.Image.Image` object containing the 32x32 image. Note that when accessing the image column: `dataset[0]["image"]` the image file is automatically decoded. Decoding of a large number of image files might take a significant amount of time. Thus it is important to first query the sample index before the `"image"` column, *i.e.* `dataset[0]["image"]` should **always** be preferred over `dataset["image"][0]` - `fine_label`: an `int` classification label with the following mapping: `0`: apple `1`: aquarium_fish `2`: baby `3`: bear `4`: beaver `5`: bed `6`: bee `7`: beetle `8`: bicycle `9`: bottle `10`: bowl `11`: boy `12`: bridge `13`: bus `14`: butterfly `15`: camel `16`: can `17`: castle `18`: caterpillar `19`: cattle `20`: chair `21`: chimpanzee `22`: clock `23`: cloud `24`: cockroach `25`: couch `26`: cra `27`: crocodile `28`: cup `29`: dinosaur `30`: dolphin `31`: elephant `32`: flatfish `33`: forest `34`: fox `35`: girl `36`: hamster `37`: house `38`: kangaroo `39`: keyboard `40`: lamp `41`: lawn_mower `42`: leopard `43`: lion `44`: lizard `45`: lobster `46`: man `47`: maple_tree `48`: motorcycle `49`: mountain `50`: mouse `51`: mushroom `52`: oak_tree `53`: orange `54`: orchid `55`: otter `56`: palm_tree `57`: pear `58`: pickup_truck `59`: pine_tree `60`: plain `61`: plate `62`: poppy `63`: porcupine `64`: possum `65`: rabbit `66`: raccoon `67`: ray `68`: road `69`: rocket `70`: rose `71`: sea `72`: seal `73`: shark `74`: shrew `75`: skunk `76`: skyscraper `77`: snail `78`: snake `79`: spider `80`: squirrel `81`: streetcar `82`: sunflower `83`: sweet_pepper `84`: table `85`: tank `86`: telephone `87`: television `88`: tiger `89`: tractor `90`: train `91`: trout `92`: tulip `93`: turtle `94`: wardrobe `95`: whale `96`: willow_tree `97`: wolf `98`: woman `99`: worm - `coarse_label`: an `int` coarse classification label with following mapping: `0`: aquatic_mammals `1`: fish `2`: flowers `3`: food_containers `4`: fruit_and_vegetables `5`: household_electrical_devices `6`: household_furniture `7`: insects `8`: large_carnivores `9`: large_man-made_outdoor_things `10`: large_natural_outdoor_scenes `11`: large_omnivores_and_herbivores `12`: medium_mammals `13`: non-insect_invertebrates `14`: people `15`: reptiles `16`: small_mammals `17`: trees `18`: vehicles_1 `19`: vehicles_2 ### Data Splits | name |train|test| |----------|----:|---------:| |cifar100|<50000| 10000| ### Licensing Information Apache License 2.0 ### Citation Information ``` @TECHREPORT{Krizhevsky09learningmultiple, author = {Alex Krizhevsky}, title = {Learning multiple layers of features from tiny images}, institution = {}, year = {2009} } ``` ### Contributions Thanks to [@gchhablani](https://github.com/gchablani) and all contributors for adding the original balanced cifar100 dataset.annotations_creators: 众包（crowdsourced） language_creators: 现有资源（found） language: 英语（en） license: Apache 2.0许可证（apache-2.0） multilinguality: 单语言（monolingual） size_categories: 10000 < 样本数 < 100000 source_datasets: CIFAR-100（cifar100） task_categories: 图像分类（image-classification） task_ids: 无 paperswithcode_id: cifar-100 pretty_name: Cifar100-LT dataset_info: features: - name: img dtype: 图像（image） - name: fine_label dtype: class_label: names: '0': 苹果（apple） '1': 观赏鱼（aquarium_fish） '2': 婴儿（baby） '3': 熊（bear） '4': 海狸（beaver） '5': 床（bed） '6': 蜜蜂（bee） '7': 甲虫（beetle） '8': 自行车（bicycle） '9': 瓶子（bottle） '10': 碗（bowl） '11': 男孩（boy） '12': 桥梁（bridge） '13': 公共汽车（bus） '14': 蝴蝶（butterfly） '15': 骆驼（camel） '16': 罐头（can） '17': 城堡（castle） '18': 毛毛虫（caterpillar） '19': 牛（cattle） '20': 椅子（chair） '21': 黑猩猩（chimpanzee） '22': 时钟（clock） '23': 云（cloud） '24': 蟑螂（cockroach） '25': 长沙发（couch） '26': cra '27': 鳄鱼（crocodile） '28': 杯子（cup） '29': 恐龙（dinosaur） '30': 海豚（dolphin） '31': 大象（elephant） '32': 比目鱼（flatfish） '33': 森林（forest） '34': 狐狸（fox） '35': 女孩（girl） '36': 仓鼠（hamster） '37': 房屋（house） '38': 袋鼠（kangaroo） '39': 键盘（keyboard） '40': 台灯（lamp） '41': 割草机（lawn_mower） '42': 豹（leopard） '43': 狮子（lion） '44': 蜥蜴（lizard） '45': 龙虾（lobster） '46': 成年男性（man） '47': 枫树（maple_tree） '48': 摩托车（motorcycle） '49': 山地（mountain） '50': 小鼠（mouse） '51': 蘑菇（mushroom） '52': 橡树（oak_tree） '53': 橙子（orange） '54': 兰花（orchid） '55': 水獭（otter） '56': 棕榈树（palm_tree） '57': 梨（pear） '58': 皮卡卡车（pickup_truck） '59': 松树（pine_tree） '60': 平原（plain） '61': 盘子（plate） '62': 罂粟花（poppy） '63': 豪猪（porcupine） '64': 负鼠（possum） '65': 兔子（rabbit） '66': 浣熊（raccoon） '67': 鳐鱼（ray） '68': 道路（road） '69': 火箭（rocket） '70': 玫瑰（rose） '71': 海洋（sea） '72': 海豹（seal） '73': 鲨鱼（shark） '74': 鼩鼱（shrew） '75': 臭鼬（skunk） '76': 摩天大楼（skyscraper） '77': 蜗牛（snail） '78': 蛇（snake） '79': 蜘蛛（spider） '80': 松鼠（squirrel） '81': 有轨电车（streetcar） '82': 向日葵（sunflower） '83': 甜椒（sweet_pepper） '84': 桌子（table） '85': 坦克（tank） '86': 电话机（telephone） '87': 电视机（television） '88': 老虎（tiger） '89': 拖拉机（tractor） '90': 火车（train） '91': 鳟鱼（trout） '92': 郁金香（tulip） '93': 乌龟（turtle） '94': 衣柜（wardrobe） '95': 鲸（whale） '96': 柳树（willow_tree） '97': 狼（wolf） '98': 成年女性（woman） '99': 蠕虫（worm） - name: coarse_label dtype: class_label: names: '0': 水生哺乳动物（aquatic_mammals） '1': 鱼类（fish） '2': 花卉（flowers） '3': 食品容器（food_containers） '4': 水果与蔬菜（fruit_and_vegetables） '5': 家用电气设备（household_electrical_devices） '6': 家用家具（household_furniture） '7': 昆虫（insects） '8': 大型食肉动物（large_carnivores） '9': 大型人造户外设施（large_man-made_outdoor_things） '10': 大型自然户外场景（large_natural_outdoor_scenes） '11': 大型杂食与草食动物（large_omnivores_and_herbivores） '12': 中型哺乳动物（medium_mammals） '13': 非昆虫无脊椎动物（non-insect_invertebrates） '14': 人类（people） '15': 爬行动物（reptiles） '16': 小型哺乳动物（small_mammals） '17': 树木（trees） '18': 交通工具1（vehicles_1） '19': 交通工具2（vehicles_2） config_name: cifar100 splits: - name: train - name: test num_bytes: 22605519 num_examples: 10000 download_size: 169001437 # CIFAR-100-LT（长尾）数据集卡片 ## 目录 - [数据集描述](#dataset-description) - [数据集摘要](#dataset-summary) - [支持任务与排行榜](#supported-tasks-and-leaderboards) - [语言](#languages) - [数据集结构](#dataset-structure) - [数据实例](#data-instances) - [数据字段](#data-fields) - [数据划分](#data-splits) - [附加信息](#additional-information) - [许可信息](#licensing-information) - [引用信息](#citation-information) - [贡献者](#contributions) ## 数据集描述 - **主页**：[CIFAR数据集](https://www.cs.toronto.edu/~kriz/cifar.html) - **论文**：[基于有效样本数的类别平衡损失](https://openaccess.thecvf.com/content_CVPR_2019/papers/Cui_Class-Balanced_Loss_Based_on_Effective_Number_of_Samples_CVPR_2019_paper.pdf) - **排行榜**：[r-10](https://paperswithcode.com/sota/long-tail-learning-on-cifar-100-lt-r-10) [r-100](https://paperswithcode.com/sota/long-tail-learning-on-cifar-100-lt-r-100) ### 数据集摘要 CIFAR-100-LT不平衡数据集包含近60000张32×32像素的彩色图像，分布于100个不同的类别中。各类别的样本数量以10和100为因子呈指数级递减。该数据集包含10000张测试图像，每个类别含100张样本；训练集样本数不足50000张。这100个类别进一步被划分为20个上层超类别。每张图像配有两个标签：细粒度标签（fine label）标识具体类别，粗粒度标签（coarse label）标识对应的超类别。 ### 支持任务与排行榜 - `图像分类（image-classification）`：该任务的目标是将给定图像分类至100个类别之一。排行榜可参见[此处](https://paperswithcode.com/sota/long-tail-learning-on-cifar-100-lt-r-100)。 ### 语言 英语 ## 数据集结构 ### 数据实例 以下展示训练集中的一个样本： { 'img': <PIL.PngImagePlugin.PngImageFile image mode=RGB size=32x32 at 0x2767F58E080>, 'fine_label': 19, 'coarse_label': 11 } > 注：当访问图像列时，`dataset[0]["image"]`会自动对图像文件进行解码。解码大量图像文件可能会耗费较长时间，因此建议优先通过样本索引查询，即**始终优先使用`dataset[0]["image"]`，而非`dataset["image"][0]`**。 ### 数据字段 - `img`：包含32×32像素图像的`PIL图像对象（PIL.Image.Image）`。 - `fine_label`：整数型分类标签，对应映射关系如下： 0: 苹果 1: 观赏鱼 2: 婴儿 3: 熊 4: 海狸 5: 床 6: 蜜蜂 7: 甲虫 8: 自行车 9: 瓶子 10: 碗 11: 男孩 12: 桥梁 13: 公共汽车 14: 蝴蝶 15: 骆驼 16: 罐头 17: 城堡 18: 毛毛虫 19: 牛 20: 椅子 21: 黑猩猩 22: 时钟 23: 云 24: 蟑螂 25: 长沙发 26: cra 27: 鳄鱼 28: 杯子 29: 恐龙 30: 海豚 31: 大象 32: 比目鱼 33: 森林 34: 狐狸 35: 女孩 36: 仓鼠 37: 房屋 38: 袋鼠 39: 键盘 40: 台灯 41: 割草机 42: 豹 43: 狮子 44: 蜥蜴 45: 龙虾 46: 成年男性 47: 枫树 48: 摩托车 49: 山地 50: 小鼠 51: 蘑菇 52: 橡树 53: 橙子 54: 兰花 55: 水獭 56: 棕榈树 57: 梨 58: 皮卡卡车 59: 松树 60: 平原 61: 盘子 62: 罂粟花 63: 豪猪 64: 负鼠 65: 兔子 66: 浣熊 67: 鳐鱼 68: 道路 69: 火箭 70: 玫瑰 71: 海洋 72: 海豹 73: 鲨鱼 74: 鼩鼱 75: 臭鼬 76: 摩天大楼 77: 蜗牛 78: 蛇 79: 蜘蛛 80: 松鼠 81: 有轨电车 82: 向日葵 83: 甜椒 84: 桌子 85: 坦克 86: 电话机 87: 电视机 88: 老虎 89: 拖拉机 90: 火车 91: 鳟鱼 92: 郁金香 93: 乌龟 94: 衣柜 95: 鲸 96: 柳树 97: 狼 98: 成年女性 99: 蠕虫 - `coarse_label`：整数型粗分类标签，对应映射关系如下： 0: 水生哺乳动物 1: 鱼类 2: 花卉 3: 食品容器 4: 水果与蔬菜 5: 家用电气设备 6: 家用家具 7: 昆虫 8: 大型食肉动物 9: 大型人造户外设施 10: 大型自然户外场景 11: 大型杂食与草食动物 12: 中型哺乳动物 13: 非昆虫无脊椎动物 14: 人类 15: 爬行动物 16: 小型哺乳动物 17: 树木 18: 交通工具1 19: 交通工具2 ### 数据划分 | 名称 |训练集|测试集| |----------|----:|---------:| |cifar100|<50000| 10000| ### 许可信息 Apache 2.0许可证 ### 引用信息 @TECHREPORT{Krizhevsky09learningmultiple, author = {Alex Krizhevsky}, title = {从微小图像中学习多层特征}, institution = {}, year = {2009} } ### 贡献者 感谢[@gchhablani](https://github.com/gchablani)及所有贡献者添加原始平衡版CIFAR-100数据集。

原始信息汇总

数据集概述

数据集描述

• 数据集名称: Cifar100-LT
• 数据集类型: 图像分类
• 语言: 英语
• 许可: Apache 2.0
• 数据集大小: 10K<n<100K
• 源数据集: cifar100
• 任务类别: 图像分类
• 数据集ID: cifar-100

数据集摘要

CIFAR-100-LT 不平衡数据集包含不到 60,000 张彩色图像，每张图像尺寸为 32x32 像素，分布在 100 个不同的类别中。每个类别的样本数量呈指数级减少，因子为 10 和 100。数据集包含 10,000 张测试图像，每个类别 100 张图像，以及少于 50,000 张训练图像。这 100 个类别进一步组织成 20 个超类。每张图像有两个标签：一个细标签表示特定类别，一个粗标签表示相关超类。

支持的任务和排行榜

• 图像分类: 目标是将给定图像分类到 100 个类别中的一个。排行榜可在此处查看。

数据集结构

数据实例

一个来自训练集的样本如下：

json { "img": "<PIL.PngImagePlugin.PngImageFile image mode=RGB size=32x32 at 0x2767F58E080>", "fine_label": 19, "coarse_label": 11 }

数据字段

• img: 一个 PIL.Image.Image 对象，包含 32x32 图像。
• fine_label: 一个 int 分类标签，映射如下：
  • 0: apple
  • 1: aquarium_fish
  • ...
  • 99: worm
• coarse_label: 一个 int 粗分类标签，映射如下：
  • 0: aquatic_mammals
  • 1: fish
  • ...
  • 19: vehicles_2

数据分割

名称	训练集	测试集
cifar100	<50000	10000

许可信息

Apache License 2.0

引用信息

plaintext @TECHREPORT{Krizhevsky09learningmultiple, author = {Alex Krizhevsky}, title = {Learning multiple layers of features from tiny images}, institution = {}, year = {2009} }

贡献

感谢 @gchhablani 及所有贡献者添加原始平衡的 cifar100 数据集。

搜集汇总

数据集介绍

构建方式

CIFAR-100-LT数据集的构建基于原始的CIFAR-100数据集，通过引入长尾分布特性，使得每个类别的样本数量呈指数递减。具体而言，该数据集包含约60,000张32x32像素的彩色图像，分布在100个不同的类别中。每个类别的样本数量以10和100为因子呈指数减少，从而形成显著的长尾效应。此外，数据集还包含10,000张测试图像，每类100张，以及少于50,000张训练图像。这些类别进一步被组织成20个超类，每张图像附有两个标签：细粒度标签和粗粒度标签。

特点

CIFAR-100-LT数据集的主要特点在于其长尾分布特性，这种特性使得数据集在类别分布上呈现出显著的不平衡性。具体来说，数据集中的类别样本数量呈指数递减，从而模拟了现实世界中常见的数据分布情况。此外，每张图像附有两个层次的标签，即细粒度标签和粗粒度标签，这为多层次分类任务提供了丰富的信息。数据集的图像分辨率为32x32像素，适用于图像分类任务，尤其是在处理长尾分布问题时具有较高的实用价值。

使用方法

CIFAR-100-LT数据集主要用于图像分类任务，特别是在处理长尾分布问题时。使用该数据集时，用户可以通过访问'img'字段获取图像数据，并通过'fine_label'和'coarse_label'字段获取相应的细粒度和粗粒度标签。数据集提供了训练集和测试集，分别包含少于50,000张和10,000张图像。为了高效访问图像数据，建议先查询样本索引再访问'img'字段，以避免大量图像解码带来的性能问题。该数据集适用于需要处理类别不平衡问题的研究，如长尾学习、类别平衡损失等。

背景与挑战

背景概述

CIFAR-100-LT数据集是基于CIFAR-100数据集的扩展，由Alex Krizhevsky于2009年创建。该数据集包含约60,000张32x32像素的彩色图像，分布在100个不同的类别中，每个类别中的样本数量呈指数递减，分别以10和100为因子。数据集包括10,000张测试图像和少于50,000张训练图像，这些类别进一步分为20个超类。每张图像都分配有两个标签：一个细标签表示特定类别，一个粗标签表示相关超类。CIFAR-100-LT数据集主要用于图像分类任务，特别是在处理长尾分布问题时，对计算机视觉领域具有重要影响。

当前挑战

CIFAR-100-LT数据集的主要挑战在于其长尾分布特性，即不同类别的样本数量差异巨大，这使得模型在处理少数类别时表现不佳。此外，数据集的构建过程中也面临图像分辨率较低的问题，32x32像素的图像在细节捕捉上存在局限性。这些挑战要求研究者在模型设计和训练策略上进行创新，以提高对少数类别的识别准确率，并克服低分辨率图像带来的信息损失。

常用场景

经典使用场景

在计算机视觉领域，CIFAR-100-LT数据集的经典使用场景主要集中在图像分类任务中。该数据集通过模拟长尾分布，为研究人员提供了一个评估和改进模型在类别不平衡情况下的性能的平台。具体而言，研究人员利用CIFAR-100-LT来训练和测试各种图像分类算法，特别是在处理少数类样本时，模型的鲁棒性和准确性。

衍生相关工作

基于CIFAR-100-LT数据集，许多相关的经典工作得以展开。例如，研究人员提出了多种处理长尾分布的算法，如基于重采样的方法、类别平衡损失函数和迁移学习技术。这些工作不仅在学术界引起了广泛关注，还在实际应用中展示了显著的效果。此外，CIFAR-100-LT还激发了对数据增强和生成对抗网络（GANs）在处理不平衡数据集中的应用研究。

数据集最近研究

最新研究方向

在图像分类领域，CIFAR-100-LT数据集因其长尾分布特性而备受关注。最新研究主要集中在解决长尾分布带来的不平衡问题，如通过设计新的损失函数和采样策略来提升模型在少数类上的表现。此外，研究者们还探索了多标签分类和层次分类的方法，以充分利用数据集中的细粒度和粗粒度标签信息。这些研究不仅推动了图像分类技术的发展，也为其他长尾分布数据集的应用提供了新的思路和方法。