MUCCA (MUlti-Category Class-Agnostic counting)

MUCCA是由意大利国家研究委员会与比萨大学联合构建的多类别类别无关计数评估数据集，包含200张真实场景图像，其核心创新在于每张图像均标注了多个共存的目标类别，突破了现有单类别数据集的局限。该数据集通过精心设计的场景采集与多目标标注流程，覆盖日常物品的多样化组合，旨在检验模型在复杂多类别环境下的语义对齐能力。其应用聚焦于提升开放世界文本引导计数系统的鲁棒性，解决现有方法在库存管理、智能监控等实际场景中因语义理解偏差导致的误计数问题。

Prompt-Aware Counting (PrACo) is a novel benchmark dataset for evaluating prompt-based class-agnostic counting methods, developed by the National Research Council of Italy – Institute of Information Science and Technologies and the University of Pisa, Italy. This dataset comprises 6,135 images covering 147 object categories, aiming to address the limitations of existing class-agnostic counting datasets and evaluation methods. PrACo assesses a model's ability to understand input prompts through two specialized tests: the negative label test and the mosaic test, and provides corresponding evaluation metrics. The main application scenarios of this dataset focus on the object counting task in computer vision, particularly in scenarios where models are required to comprehend natural language descriptions.

原始信息汇总

PrACo: Prompt-Aware Counting Benchmark 数据集详情

概述

PrACo（Prompt-Aware Counting Benchmark）是一个用于评估基于文本提示的类无关计数模型（class-agnostic prompt-guided counting models）性能的新基准。该基准旨在检验模型是否能够正确理解提供的文本提示，避免默认计数最显著的物体类别。相关论文为《Mind the Prompt: A Novel Benchmark for Prompt-based Class-Agnostic Counting》（arXiv: 2409.15953）。

数据集与依赖

• 基础数据集：FSC-147 数据集（用于物体计数），需从以下链接下载：
  • FSC-147 数据集下载：https://drive.google.com/file/d/1ymDYrGs9DSRicfZbSCDiOu0ikGDh5k6S/view?usp=sharing
  • 图像描述文件 FSC-147-D：https://github.com/niki-amini-naieni/CounTX/blob/main/FSC-147-D.json
• 模型权重：需从各模型原作者仓库下载预训练权重，并放置在项目根目录下的 pretrained_models/ 文件夹中。
• 模型特定文件：包括 CLIP 权重、ZSC 回归器权重等，需下载并放置到对应模型的 pretrain 文件夹。

支持的模型

以下模型已在基准中实现并提供评估脚本：

• CounTX
• CLIP-Count
• ClipSAM
• VLCounter
• DAVE
• ZSC
• PseCo

安装与使用

1. 环境配置：创建 Conda 环境（Python 3.10），并安装依赖： bash conda create --name praco python=3.10 conda activate praco pip install -r requirements.txt

2. 下载数据与权重：按说明下载 FSC-147 数据集、各模型预训练权重及模型特定文件，并放置到指定目录。

3. 运行基准测试：使用 main.py 脚本对选定模型进行评估： bash python main.py --model <MODEL_NAME> --data_dir <DATA_DIR> --img_directory <IMG_DIR> --split <SPLIT_NAME>

   示例： bash python main.py --model CounTX --data_dir ./data --img_directory ./data/images_384_VarV2 --split test

4. 生成统计指标：使用 main_statistics.py 计算并汇总基准测试统计结果： bash python main_statistics.py --data_dir <DATA_DIR> --split <SPLIT_NAME> --models <MODEL_NAME>

仓库结构

• benchmark/：包含在 PrACo 数据集上评估模型的脚本。
• models/：各模型实现（CounTX、CLIP-Count、TFPOC、VLCounter、DAVE、ZSC、PseCo）。
• main.py：运行基准测试的主脚本。
• main_statistics.py：计算和编译基准统计结果的脚本。
• statistics.ipynb：用于复现论文统计结果的 Jupyter Notebook。
• qualitative.ipynb：用于复现论文定性结果的 Jupyter Notebook。
• requirements.txt：项目依赖包列表。

搜集汇总

数据集介绍

构建方式

Prompt-Aware Counting (PrACo) 数据集的构建方式独具匠心，旨在评估基于提示的类无关计数任务。该数据集包含两个针对性的测试，每个测试都配备了相应的评估指标。负标签测试通过使用指向缺失类别的提示来探测单类别图像，而马赛克测试则评估人工创建的包含两个不同类别的图像，其中提示仅描述其中一个类别。这些测试旨在克服现有数据集和评估方法的局限性，确保模型能够准确理解并响应输入的文本提示。

特点

PrACo 数据集的显著特点在于其针对性和创新性。通过负标签测试和马赛克测试，数据集能够全面评估模型在处理多类别图像和理解文本提示方面的能力。此外，PrACo 还引入了专为这些测试设计的评估指标，如归一化负预测均值（NMN）和正类计数接近度（PCCN），这些指标能够更精确地衡量模型在不同场景下的表现，弥补了传统计数评估方法的不足。

使用方法

使用 PrACo 数据集进行模型评估时，研究者可以通过负标签测试和马赛克测试来全面了解模型在处理多类别图像和理解文本提示方面的表现。具体操作包括：首先，使用负标签测试评估模型在单类别图像中对缺失类别的计数能力；其次，通过马赛克测试评估模型在包含多个类别的图像中对指定类别的计数能力。评估结果可通过归一化负预测均值（NMN）、正类计数接近度（PCCN）等指标进行量化分析，从而为模型的改进提供有力依据。

背景与挑战

背景概述

Prompt-Aware Counting (PrACo)数据集由意大利国家研究委员会（CNR-ISTI）和比萨大学共同开发，旨在解决计算机视觉中的类无关计数（Class-Agnostic Counting, CAC）问题。该数据集的创建源于对现有基准评估系统的显著局限性的识别，特别是在模型理解需要计数的对象类别方面的能力。PrACo数据集通过引入两个针对性的测试，旨在填补这一空白，并提供适当的评估指标，以更准确地评估和推动更有效的解决方案的发展。

当前挑战

PrACo数据集面临的挑战主要集中在两个方面：一是现有CAC数据集的不足，这些数据集主要包含单一类别的对象图像，难以评估模型在图像中区分不同对象类别的能力；二是当前计数性能评估器的局限性，这些评估器基于传统的类别特定计数，仅关注计数误差，而忽略了模型对文本提示的理解能力。此外，PrACo数据集在构建过程中遇到的挑战包括如何设计有效的测试和评估指标，以确保模型不仅能够准确计数，还能正确理解输入的文本提示。

常用场景

经典使用场景

Prompt-Aware Counting (PrACo) 数据集的经典使用场景主要集中在评估基于提示的类无关计数（CAC）模型的性能。通过提供包含单一类别对象的图像和自然语言描述的提示，PrACo 数据集能够测试模型在从未见过的对象类别上的计数能力。这种场景特别适用于需要灵活指定计数对象的实际应用，如监控系统中的对象计数。

解决学术问题

PrACo 数据集解决了当前类无关计数基准的显著局限性，特别是模型在理解提示中指定对象类别的能力。传统评估协议主要关注计数误差，而忽略了模型对提示的理解。PrACo 通过引入负标签测试和马赛克测试，以及相应的评估指标，填补了这一空白，推动了更有效解决方案的发展，对计算机视觉领域的研究具有重要意义。

衍生相关工作

PrACo 数据集的引入催生了一系列相关研究工作，特别是在基于提示的类无关计数方法的改进上。例如，CounTX、CLIP-Count 和 VLCounter 等模型通过微调 CLIP 模型，直接生成密度图，显著提升了计数性能。此外，DAVE 和 TFPOC 等两阶段方法通过检测和验证范式，进一步提高了模型在多类别场景下的鲁棒性。这些工作不仅提升了现有模型的性能，也为未来的研究提供了新的方向。