Multi-Attribute Composition (MAC)

MAC数据集由武汉大学计算机科学学院创建，包含18,217张图像和11,067个组合，旨在解决现有数据集在多属性标注上的不足。该数据集平均每个对象关联30.2个属性，每个属性覆盖65.4个对象，支持更深入的语义理解和更高阶的属性关联。MAC数据集通过精心定义的语义原语（属性和对象）和多样化的组合生成，利用GPT-4o和CLIP技术进行属性预测和标注，确保了数据集的高质量和多样性。该数据集适用于多属性组合预测，特别是在零样本学习领域，有助于模型更好地理解和预测未见过的属性-对象组合。

The MAC dataset was developed by the School of Computer Science, Wuhan University, and consists of 18,217 images and 11,067 combinations. It is designed to address the gaps in multi-attribute annotation of existing datasets. On average, each object is associated with 30.2 attributes, and each attribute covers 65.4 objects, enabling deeper semantic understanding and higher-order attribute association. The MAC dataset is constructed using carefully defined semantic primitives (attributes and objects) and diverse combination generation approaches, and leverages GPT-4o and CLIP technologies for attribute prediction and annotation, ensuring the high quality and diversity of the dataset. This dataset is suitable for multi-attribute combination prediction, especially in the field of zero-shot learning, and helps models better understand and predict unseen attribute-object combinations.

搜集汇总

数据集介绍

构建方式

Multi-Attribute Composition (MAC) 数据集的构建过程分为三个主要步骤。首先，通过GPT-4o和人工验证定义语义原语（即属性和对象），确保数据集的语义覆盖范围广泛且准确。其次，利用GPT-4o生成多样化的属性-对象组合，并通过搜索引擎检索相关图像，形成初始数据集。最后，使用CLIP和GPT-4o预测图像属性，并由标注者根据预测结果和初始搜索关键词进行多属性标注，确保每个图像具有全面且准确的属性标签。

使用方法

MAC 数据集主要用于多属性组合零样本学习（CZSL）任务。在训练阶段，模型仅接触已见的组合数据，而在测试阶段，模型需要预测未见过的属性-对象组合。数据集支持多标签单属性组合分类任务，旨在评估模型在封闭世界和开放世界设置下的表现。封闭世界设置下，测试空间仅包含训练和测试集中的组合；开放世界设置下，测试空间为所有可能的属性-对象组合。通过这种方式，MAC 数据集能够全面评估模型在复杂多属性场景下的泛化能力和组合预测能力。

背景与挑战

背景概述

Multi-Attribute Composition (MAC) 数据集由武汉大学计算机学院的研究团队于2024年提出，旨在解决组合零样本学习（CZSL）中的多属性组合问题。现有的CZSL数据集通常仅关注单一属性，忽略了现实世界中物体通常具有多个相互关联的属性。MAC数据集包含18,217张图像和11,067种组合，每个对象平均标注了30.2个属性，每个属性覆盖了65.4个对象。该数据集通过提供全面、多样且具有代表性的属性标注，推动了CZSL任务的发展，并为图像理解、开放词汇目标检测等下游任务提供了重要支持。

当前挑战

MAC数据集在构建过程中面临三大挑战：首先，全面标注的复杂性。与单一属性标注不同，多属性标注需要覆盖目标的主要属性，增加了标注的复杂性和工作量。其次，属性选择的代表性。在追求全面性的同时，如何选择具有代表性的属性，避免简单和琐碎的属性干扰模型学习，是一个关键问题。最后，图像多样性。现有数据集往往围绕常见属性和对象构建，忽略了稀疏关系，导致模型在面对罕见组合时表现不佳。MAC数据集通过引入多样化的图像和组合，解决了这些挑战，为多属性组合预测提供了更具现实意义的基准。

常用场景

经典使用场景

Multi-Attribute Composition (MAC) 数据集在组合零样本学习（CZSL）领域中被广泛用于研究多属性组合的识别与推理。该数据集通过提供丰富的多属性标注，帮助模型从已知的组合中学习语义基元（如属性和对象），并在测试阶段识别未见过的属性-对象组合。MAC 数据集特别适用于探索模型在复杂多属性场景下的泛化能力，尤其是在面对现实世界中对象通常具有多个相互关联属性的情况时。

解决学术问题

MAC 数据集解决了现有 CZSL 数据集在单属性标注上的局限性，避免了因单一属性标注引入的偏差问题。通过提供每个对象平均 30.2 个属性和每个属性覆盖 65.4 个对象的丰富标注，MAC 数据集能够更全面地评估模型在多属性组合预测中的表现。此外，该数据集支持高阶属性关联的学习，推动了模型在语义理解和组合推理方面的进步，为 CZSL 任务提供了更具挑战性和现实意义的基准。

实际应用

MAC 数据集的实际应用场景广泛，尤其是在需要多属性组合识别的领域，如开放词汇目标检测、人机交互以及视觉问答系统。例如，在智能零售中，MAC 数据集可以用于识别商品的多种属性（如颜色、材质、状态等），从而提升商品分类和推荐的准确性。此外，在自动驾驶领域，该数据集可以帮助车辆更全面地理解周围环境中的对象属性，提升场景感知能力。

数据集最近研究

最新研究方向

近年来，Multi-Attribute Composition (MAC) 数据集在组合零样本学习（CZSL）领域引发了广泛关注。该数据集通过引入多属性组合的标注，突破了传统单属性数据集的局限性，推动了模型在复杂语义理解上的进步。当前研究热点集中在如何利用MAC数据集提升模型对多属性组合的预测能力，尤其是在开放世界场景下的零样本学习表现。通过解耦属性和对象的语义表示，并结合多模态编码器（如MM-Encoder），研究者能够更好地建模属性间及属性与对象间的关系，从而显著提升模型的泛化能力。MAC数据集的出现不仅为CZSL任务提供了更具挑战性的基准，还为开放词汇目标检测和人类-物体交互等下游任务奠定了坚实基础。

相关研究论文

• MAC: A Benchmark for Multiple Attributes Compositional Zero-Shot Learning

  武汉大学计算机科学学院 · 2024年