MUCCA (MUlti-Category Class-Agnostic counting)
收藏资源简介：
MUCCA是由意大利国家研究委员会与比萨大学联合构建的多类别类别无关计数评估数据集，包含200张真实场景图像，其核心创新在于每张图像均标注了多个共存的目标类别，突破了现有单类别数据集的局限。该数据集通过精心设计的场景采集与多目标标注流程，覆盖日常物品的多样化组合，旨在检验模型在复杂多类别环境下的语义对齐能力。其应用聚焦于提升开放世界文本引导计数系统的鲁棒性，解决现有方法在库存管理、智能监控等实际场景中因语义理解偏差导致的误计数问题。
Prompt-Aware Counting (PrACo) is a novel benchmark dataset for evaluating prompt-based class-agnostic counting methods, developed by the National Research Council of Italy – Institute of Information Science and Technologies and the University of Pisa, Italy. This dataset comprises 6,135 images covering 147 object categories, aiming to address the limitations of existing class-agnostic counting datasets and evaluation methods. PrACo assesses a model's ability to understand input prompts through two specialized tests: the negative label test and the mosaic test, and provides corresponding evaluation metrics. The main application scenarios of this dataset focus on the object counting task in computer vision, particularly in scenarios where models are required to comprehend natural language descriptions.
PrACo: Prompt-Aware Counting Benchmark 数据集详情
概述
PrACo（Prompt-Aware Counting Benchmark）是一个用于评估基于文本提示的类无关计数模型（class-agnostic prompt-guided counting models）性能的新基准。该基准旨在检验模型是否能够正确理解提供的文本提示，避免默认计数最显著的物体类别。相关论文为《Mind the Prompt: A Novel Benchmark for Prompt-based Class-Agnostic Counting》（arXiv: 2409.15953）。
数据集与依赖
- 基础数据集：FSC-147 数据集（用于物体计数），需从以下链接下载：
- 模型权重：需从各模型原作者仓库下载预训练权重，并放置在项目根目录下的
pretrained_models/文件夹中。 - 模型特定文件：包括 CLIP 权重、ZSC 回归器权重等，需下载并放置到对应模型的
pretrain文件夹。
支持的模型
以下模型已在基准中实现并提供评估脚本：
- CounTX
- CLIP-Count
- ClipSAM
- VLCounter
- DAVE
- ZSC
- PseCo
安装与使用
-
环境配置：创建 Conda 环境（Python 3.10），并安装依赖： bash conda create --name praco python=3.10 conda activate praco pip install -r requirements.txt
-
下载数据与权重：按说明下载 FSC-147 数据集、各模型预训练权重及模型特定文件，并放置到指定目录。
-
运行基准测试：使用
main.py脚本对选定模型进行评估： bash python main.py --model <MODEL_NAME> --data_dir <DATA_DIR> --img_directory <IMG_DIR> --split <SPLIT_NAME>示例： bash python main.py --model CounTX --data_dir ./data --img_directory ./data/images_384_VarV2 --split test
-
生成统计指标：使用
main_statistics.py计算并汇总基准测试统计结果： bash python main_statistics.py --data_dir <DATA_DIR> --split <SPLIT_NAME> --models <MODEL_NAME>
仓库结构
benchmark/：包含在 PrACo 数据集上评估模型的脚本。models/：各模型实现（CounTX、CLIP-Count、TFPOC、VLCounter、DAVE、ZSC、PseCo）。main.py：运行基准测试的主脚本。main_statistics.py：计算和编译基准统计结果的脚本。statistics.ipynb：用于复现论文统计结果的 Jupyter Notebook。qualitative.ipynb：用于复现论文定性结果的 Jupyter Notebook。requirements.txt：项目依赖包列表。
