MetaShift

MetaShift是由斯坦福大学创建的一个包含12,868个自然图像集的数据集，涵盖410个类别。该数据集利用Visual Genome的自然异质性和其注释来构建，通过元数据对图像进行聚类，以代表不同的数据分布。MetaShift的主要优势在于其包含的自然数据变化远超现有基准，同时提供每个数据集的独特性解释和任意两个数据集之间的分布变化距离分数。该数据集适用于评估机器学习模型在不同数据分布下的性能，特别是在处理域泛化和子群体变化时的表现。

MetaShift is a dataset developed by Stanford University, consisting of 12,868 natural image sets spanning 410 distinct categories. Built using the natural heterogeneity and annotations of Visual Genome, it clusters images via metadata to represent diverse data distributions. The core strengths of MetaShift include encompassing far more natural data variability than existing benchmark datasets, alongside providing unique explanatory profiles for each individual dataset and distribution shift distance scores between any pair of datasets. This dataset is designed to evaluate the performance of machine learning models across different data distributions, particularly their performance when handling domain generalization and subpopulation shifts.

搜集汇总

背景与挑战

背景概述

MetaShift是一个大规模数据集集合，专门用于评估机器学习的上下文分布偏移和训练冲突，包含12,868个自然图像子集，覆盖410个类别。它基于Visual Genome构建，通过元数据聚类图像来创建具有不同上下文的数据分布，并提供了元图结构以解释子集之间的相似性和量化偏移距离，从而支持对分布偏移的系统性分析和模型鲁棒性测试。