META-DATASET

META-DATASET是一个由多伦多大学和向量研究所的研究人员创建的大规模数据集，包含来自10个不同来源的数据，旨在为少样本学习提供一个更真实、多样化的评估环境。该数据集包括如ImageNet、Omniglot等多种视觉数据集，覆盖了自然图像、手写文字、纹理、快速涂鸦等多种视觉概念。META-DATASET通过引入现实中的类别不平衡和任务多样性，旨在测试模型在不同条件下的泛化能力，特别是在只有少数样本可用时。此外，该数据集还提供了一个算法，用于从这些数据中创建学习场景，以更真实地模拟实际应用中的挑战。

META-DATASET is a large-scale dataset created by researchers from the University of Toronto and the Vector Institute. It comprises data from 10 distinct sources, with the core goal of providing a more realistic and diverse evaluation environment for few-shot learning. This dataset includes various visual datasets such as ImageNet and Omniglot, covering a wide spectrum of visual concepts including natural images, handwritten characters, textures, and quick doodles. By introducing realistic class imbalance and task diversity, META-DATASET is designed to test the generalization ability of models under varying conditions, especially when only a limited number of samples are available. Furthermore, this dataset provides an algorithm for generating learning scenarios from the collected data to more authentically simulate the challenges encountered in real-world applications.

原始信息汇总

Meta-Dataset 数据集概述

数据集简介

Meta-Dataset 是一个用于少样本分类学习的大型、多样化的数据集，旨在评估模型在仅给定少量样本的情况下学习新类别的能力。该数据集包含多个子数据集，支持两种协议：MD-v1 和 MD-v2。

相关论文

• Meta-Dataset: arxiv.org/abs/1903.03096
• VTAB+MD 合并基准: arxiv.org/abs/2104.02638
• CrossTransformers: arxiv.org/abs/2007.11498
• FLUTE: arxiv.org/abs/2105.07029

数据集使用

用户可以通过以下步骤使用 Meta-Dataset：

1. 安装软件
2. 下载和转换数据
3. 训练模型

预训练模型

• CrossTransformers (CTX): CTX
• CTX+SimCLR Eps: CTX+SimCLR Eps
• CTX+SimCLR Eps+BOHB Aug: CTX+SimCLR Eps+BOHB Aug
• FLUTE: FLUTE 预训练模型

性能比较

以下是不同模型在 Meta-Dataset 上的性能比较：

仅在 ImageNet 上训练

方法	平均排名	ILSVRC (test)	Omniglot	Aircraft	Birds	Textures	QuickDraw	Fungi	VGG Flower	Traffic signs	MSCOCO
k-NN [[1]]	14.6	41.03±1.01	37.07±1.15	46.81±0.89	50.13±1.00	66.36±0.75	32.06±1.08	36.16±1.02	83.10±0.68	44.59±1.19	30.38±0.99
Finetune [[1]]	10.45	45.78±1.10	60.85±1.58	68.69±1.26	57.31±1.26	69.05±0.90	42.60±1.17	38.20±1.02	85.51±0.68	66.79±1.31	34.86±0.97
MatchingNet [[1]]	13.55	45.00±1.10	52.27±1.28	48.97±0.93	62.21±0.95	64.15±0.85	42.87±1.09	33.97±1.00	80.13±0.71	47.80±1.14	34.99±1.00
ProtoNet [[1]]	10.75	50.50±1.08	59.98±1.35	53.10±1.00	68.79±1.01	66.56±0.83	48.96±1.08	39.71±1.11	85.27±0.77	47.12±1.10	41.00±1.10
fo-MAML [[1]]	12.25	45.51±1.11	55.55±1.54	56.24±1.11	63.61±1.06	68.04±0.81	43.96±1.29	32.10±1.10	81.74±0.83	50.93±1.51	35.30±1.23
RelationNet [[1]]	15.55	34.69±1.01	45.35±1.36	40.73±0.83	49.51±1.05	52.97±0.69	43.30±1.08	30.55±1.04	68.76±0.83	33.67±1.05	29.15±1.01
fo-Proto-MAML [[1]]	9.25	49.53±1.05	63.37±1.33	55.95±0.99	68.66±0.96	66.49±0.83	51.52±1.00	39.96±1.14	87.15±0.69	48.83±1.09	43.74±1.12
ALFA+fo-Proto-MAML [[3]]	7.1	52.80±1.11	61.87±1.51	63.43±1.10	69.75±1.05	70.78±0.88	59.17±1.16	41.49±1.17	85.96±0.77	60.78±1.29	48.11±1.14
ProtoNet (large) [[4]]	7.25	53.69±1.07	68.50±1.27	58.04±0.96	74.07±0.92	68.76±0.77	53.30±1.06	40.73±1.15	86.96±0.73	58.11±1.05	41.70±1.08
CTX [[4]]	2.75	62.76±0.99	82.21±1.00	79.49±0.89	80.63±0.88	75.57±0.64	72.68±0.82	51.58±1.11	95.34±0.37	82.65±0.76	59.90±1.02
BOHB [[5]]	7.85	51.92±1.05	67.57±1.21	54.12±0.90	70.69±0.90	68.34±0.76	50.33±1.04	41.38±1.12	87.34±0.59	51.80±1.04	48.03±0.99
SimpleCNAPS [[14],[7]]	8.75	54.80±1.20	62.00±1.30	49.20±0.90	66.50±1.00	71.60±0.70	56.60±1.00	37.50±1.20	82.10±0.90	63.10±1.10	45.80±1.00
TransductiveCNAPS [[14],[8]]	8.6	54.10±1.10	62.90±1.30	48.40±0.90	67.30±0.90	72.50±0.70	58.00±1.00	37.70±1.10	82.80±0.80	61.80±1.10	45.80±1.00
TSA_resnet18 [[12]]	3.8	59.50±1.10	78.20±1.20	72.20±1.00	74.90±0.90	77.30±0.70	67.60±0.90	44.70±1.00	90.90±0.60	82.50±0.80	59.00±1.00
TSA_resnet34 [[12]]	2.5	63.73±0.99	82.58±1.11	80.13±1.01	83.39±0.80	79.61±0.68	71.03±0.84	51.38±1.17	94.05±0.45	81.71±0.95	61.67±0.95
DIPA [[15]]	1	71.40±0.90	84.30±1.20	86.70±1.00	88.20±0.90	87.10±0.60	74.60±0.80	61.40±1.20	97.40±0.40	88.90±1.00	65.20±1.00

在所有数据集上训练

方法	平均排名	ILSVRC (test)	Omniglot	Aircraft	Birds	Textures	QuickDraw	Fungi	VGG Flower	Traffic signs	MSCOCO
k-NN [[1]]	16.85	38.55±0.94	74.60±1.08	64.98±0.82	66.35±0.92	63.58±0.79	44.88±1.05	37.12±1.06	83.47±0.61	40.11±1.10	29.55±0.96
Finetune [[1]]	14.1	43.08±1.08	71.11±1.37	72.03±1.07	59.82±1.15	69.14±0.85	47.05±1.16	38.16±1.04	85.28±0.69	66.74±1.23	35.17±1.08
MatchingNet [[1]]	16.4	36.08±1.00	78.25±1.01	69.17±0.96	56.40±1.00	61.80±0.74	60.81±1.03	33.70±1.04	81.90±0.72	55.57±1.08	28.79±0.96
ProtoNet [[1]]	14.5	44.50±1.05	79.56±1.12	71.14±0.86	67.01±1.02	65.18±0.84	64.88±0.89	40.26±1.13	86.85±0.71	46.48±1.00	39.87±1.06
fo-MAML [[1]]	16.15	37.83±1.01	83.92±0.95	76.41±0.69	62.43±1.08	64.16±0.83	59.73±1.10	33.54±1.11	79.94±0.84	42.91±1.31	29.37±1.08
RelationNet [[1]]	17.7	30.89±0.93	86.57±0.79	69.71±0.83	54.14±0.99	56.56±0.73	61.75±0.97	32.56±1.08	76.08±0.76	37.48±0.93	27.41±0.89
fo-Proto-MAML [[1]]	12.65	46.52±1.05	82.69±0.97	75.23±0.76	69.88±1.02	68.25±0.81	66.84±0.94	41.99±1.17	88.72±0.67	52.42±1.08	41.74±1.13
CNAPs [[2]]	11.15	50.80±1.10	91.70±0.50	83.70±0.60	73.60±0.90	59.50±0.70	74.70±0.80	50.20±1.10	88.90±0.50	56.50±1.10	39.40±1.00
SUR [[6]]	8.45	56.10±1.10	93.10±0.50	84.60±0.70	70.60±1.00	71.00±0.80	81.30±0.60	64.2

搜集汇总

数据集介绍

构建方式

在元学习领域，META-DATASET的构建体现了对现有基准局限性的深刻反思。该数据集通过整合十个异构视觉数据集，包括ImageNet、Omniglot、Aircraft等，构建了一个大规模、多样化的评估环境。其构建过程采用层次化感知的类别采样机制，特别针对ImageNet和Omniglot的类结构设计了精细的采样策略，以生成不同粒度级别的分类任务。此外，数据集的构建引入了类别不平衡和可变支持集大小的设计，模拟了真实世界中少样本学习任务的复杂性与动态性，从而为模型评估提供了更为贴近实际应用的测试平台。

特点

META-DATASET的核心特点在于其前所未有的规模与多样性，涵盖了从自然图像到手绘符号的广泛视觉概念。数据集不仅整合了多个独立数据源，还通过精心设计的任务生成算法，实现了对类别数量、样本分布及任务粒度的灵活调控。这一设计使得评估能够覆盖从粗粒度到细粒度的分类挑战，同时考察模型在跨数据集泛化与异构数据融合方面的能力。其引入的类别不平衡与动态支持集配置，进一步增强了任务的真实性，为少样本学习研究提供了全面而严谨的基准测试环境。

使用方法

使用META-DATASET时，研究者通常遵循元学习的标准范式，通过从训练数据集中采样任务进行模型训练。数据集支持两种主要训练模式：仅使用ImageNet或整合所有可用数据源进行元训练。在评估阶段，模型在保留的测试数据集上生成的任务中进行性能测试，重点关注跨数据集的泛化能力。推荐的分析方法包括计算各模型在不同数据集上的平均准确率及其排名，并进一步考察模型在可变任务设置（如不同类别数和样本数）下的鲁棒性。这种综合评估策略有助于全面衡量少样本学习模型的适应性与泛化性能。

背景与挑战

背景概述

在元学习与少样本分类领域，传统基准数据集如Omniglot和mini-ImageNet在模型性能区分度上逐渐趋于饱和，难以推动算法在更复杂、更贴近现实场景下的进步。为应对这一局限，由多伦多大学、Vector Institute与Google AI的研究团队于2019年共同提出了META-DATASET。该数据集整合了ImageNet、Omniglot、Aircraft等十个异构视觉数据集，构建了一个大规模、多源、任务形式多样的新型评估基准。其核心研究目标在于模拟真实世界中少样本学习任务的异质性，包括类别数量动态变化、样本分布不均衡以及跨数据集泛化等挑战，旨在推动元学习模型从单一数据分布向多源异构环境下的稳健泛化能力演进，对少样本学习领域的评估范式与研究方向产生了深远影响。

当前挑战

META-DATASET所针对的少样本分类问题，其核心挑战在于模型如何从极少量样本中快速适应新类别，并在异构、动态的任务环境中保持稳健性能。具体而言，该数据集构建过程中面临多重挑战：一是数据整合与任务设计的复杂性，需将十个来源、领域各异的图像数据集统一为元学习可用的任务流，并设计出能反映真实场景异质性的任务采样算法，包括类别数量、样本数量及类别平衡度的动态变化；二是评估泛化能力的多维性，要求模型不仅能完成同一数据集内的少样本分类，还需具备跨数据集的泛化能力，以应对未知分布下的新任务；三是模型训练与评估的严谨性挑战，需设计合理的训练策略、验证机制及超参数选择方法，以确保不同模型在公平、可复现的条件下进行比较，并深入探究元学习在异构数据环境中的实际效益与局限。

常用场景

经典使用场景

在元学习领域，Meta-Dataset常被用作评估小样本分类模型性能的核心基准。该数据集整合了十个异构视觉数据集，涵盖自然图像、手写字符、纹理图案等多种数据分布，通过精心设计的任务采样机制生成具有可变类别数、不平衡样本量及细粒度差异的学习片段。研究者通常在此数据集上训练元学习器，如原型网络、匹配网络及MAML等，以检验模型在跨域泛化、低样本适应及异构数据融合方面的能力。其经典使用场景包括模型对比实验、泛化性能分析及元学习算法优化，为小样本学习研究提供了标准化且富有挑战性的评估环境。

实际应用

Meta-Dataset的实际应用场景广泛涉及计算机视觉与人工智能系统中需快速适应新类别且标注数据稀缺的领域。例如，在医疗影像诊断中，模型可利用少量病理切片样本识别罕见疾病类别；在自动驾驶领域，系统需快速学习新型交通标志或异常路况；在个性化推荐中，用户兴趣建模常面临冷启动问题。该数据集通过模拟真实世界的数据异构性与任务不平衡性，为开发适应性强、样本效率高的智能系统提供了验证平台。其多源数据融合机制亦启发跨领域知识迁移方法，助力机器人感知、工业质检及生态监测等实际任务的低样本学习解决方案。

衍生相关工作

Meta-Dataset的推出催生了众多围绕跨域小样本学习、元学习算法改进及基准拓展的经典研究工作。例如，基于该数据集的分析揭示了异构数据下元训练策略的局限性，激发了如跨域自适应元学习、任务感知采样及多源融合方法的研究。衍生工作包括对Proto-MAML等混合模型的深入探索，以及针对数据不平衡、细粒度分类的专用算法设计。同时，该数据集促进了类似基准的构建，如跨模态小样本数据集与动态任务序列评估框架。这些工作共同推动了元学习在理论严谨性与实践应用性上的双重进步，形成了以小样本泛化为核心的研究生态。