Objects365-Attr

Objects365-Attr数据集是中国移动研究院开发的一个大规模属性描述数据集，旨在解决现有开放词汇检测和引用表达理解数据集的不足。该数据集扩展了Objects365数据集，增加了详细的属性标注，包括颜色、材质、状态、纹理和色调等5个主要属性和39个子属性，共包含560万条对象级别的属性描述，覆盖140万个边界框。数据集的创建过程包括自动标注管道的构建，通过多模态大模型进行图像理解和文本生成，结合少量人工校正，确保数据的高效性和准确性。该数据集主要应用于开放词汇对象检测和引用表达理解任务，旨在提高模型对复杂和模糊对象的识别能力。

Objects365-Attr dataset is a large-scale attribute description dataset developed by China Mobile Research Institute, which aims to mitigate the limitations of existing open-vocabulary object detection and referring expression understanding datasets. As an extension of the original Objects365 dataset, it is supplemented with detailed attribute annotations covering 5 major attribute categories (color, material, state, texture, and hue) and 39 sub-attributes. In total, the dataset contains 5.6 million object-level attribute descriptions covering 1.4 million bounding boxes. The construction of this dataset involves the development of an automatic annotation pipeline, which leverages multimodal large language models for image understanding and text generation, paired with a small volume of manual corrections to ensure the efficiency and accuracy of the collected data. This dataset is primarily applied to open-vocabulary object detection and referring expression understanding tasks, with the objective of improving models' ability to recognize complex and ambiguous objects.

搜集汇总

数据集介绍

构建方式

Objects365-Attr数据集的构建方法是基于Objects365数据集，通过引入自动标注流水线来添加详细的物体属性注释。首先，创建了结构化数据集以训练LLaVA模型，然后对LLaVA模型进行微调和推理，最后通过数据检查和修正输出最终数据集。

特点

Objects365-Attr数据集的特点包括：包含364个细粒度类别，扩展了5个主要属性类别（颜色、材料、状态、纹理、色调），总计39个子类别。数据集由训练集和测试集组成，其中训练集包含450,651张图像和1,401,491个带有平均四个属性维度的边界框注释。

使用方法

使用Objects365-Attr数据集的方法包括：首先，将属性描述纳入类查询中以提高检测准确性；其次，在实际应用场景中，人们通常倾向于提供一两个形容词来更准确地检测目标；最后，通过自动标注流水线来优化数据集的利用效率和准确性。

背景与挑战

背景概述

Objects365-Attr数据集是由中国移动研究院在北京提出并构建的，旨在解决开放词汇检测中存在的挑战，如对象名称的词汇歧义和描述信息不足等问题。该数据集在Objects365的基础上，加入了详细的属性描述，包括颜色、材料、状态、纹理和色调等五个主要特征，从而提供了一个包含5.6M个对象级属性描述的丰富数据资源，这些描述被精心标注在1.4M个边界框中。Objects365-Attr数据集的构建，不仅为对象检测提供了更为细致和深入的训练资源，而且对于推动开放词汇检测方法的理解和研究具有重要意义。

当前挑战

在构建Objects365-Attr数据集的过程中，研究人员面临着多个挑战。首先，如何有效地整合属性描述以增强对象检测的准确性是一个关键问题。其次，数据集的构建需要考虑到效率和成本，自动化标注管道的设计和实现是其中的技术难点。此外，如何确保数据集的质量，尤其是在数据量庞大的情况下，保持标注的一致性和准确性，也是数据集构建中需要解决的问题。最后，数据集的应用验证表明，属性描述的丰富性对于提升对象检测性能至关重要，但如何在不同的应用场景中平衡描述的详细程度和模型的效率，是一个持续的挑战。

常用场景

经典使用场景

Objects365-Attr数据集的经典使用场景在于，通过其丰富的属性描述，为开放词汇目标检测任务提供了一种新的描述方式。它不仅可以帮助模型识别熟悉的物体，还能够通过属性描述来识别不熟悉的物体。在实际应用中，该数据集可以用于训练模型，使其能够根据属性描述来更准确地检测目标。

衍生相关工作

Objects365-Attr数据集的发布促进了相关领域的研究，如开放词汇目标检测、视觉推理和描述生成等。它已经激发了多种基于属性描述的检测方法和模型的研究，以及对现有模型进行改进的工作。

数据集最近研究

最新研究方向

Objects365-Attr数据集的引入，为开放词汇检测任务提供了新的研究方向。该数据集通过整合丰富的属性描述，如颜色、材料、状态、纹理和色调，超越了传统仅依赖对象名称的标注方式。研究重点在于如何利用这些属性描述来提高对象检测的准确性和泛化能力，特别是在处理罕见或复杂对象时。Objects365-Attr数据集的构建，以及自动标注管道的设计，为模型训练提供了更为细致和深入的视觉特征，有助于提升开放词汇检测和引用表达式理解任务的性能。

相关研究论文

• An Attribute-Enriched Dataset and Auto-Annotated Pipeline for Open Detection

  中国移动研究院 · 2024年