ABACUS

Name: ABACUS
Creator: 巴黎-萨克雷大学; 法国原子能和替代能源委员会·List实验室
Published: 2026-10-20T22:53:22+08:00

arXiv2026-10-20 更新2026-10-22 收录

指令式图像编辑评估

目标计数编辑

数据链接：

https://github.com/CEA-LIST/ABACUS 数据链接链接失效反馈

官方服务：

资源简介：

ABACUS 是面向指令式图像编辑数值能力评估的基准，由巴黎-萨克雷大学与法国原子能和替代能源委员会·List实验室等提出。它基于 COCO 图像与 COCONut 全景真值构建，涵盖添加、移除和类别转换三类操作，共 10,944 条指令、3,845 张源图像，目标计数 K=1–15，并划分易、中、难三级。其创建经双检测器可移除性审计、添加合理性检查、可添加数量估计及人工复核，计数由全景标注与检测器共识确认。该数据集采用无 VLM 评判的实例级验证，检验精确计数与场景保持，旨在评测图像编辑模型的数值编辑能力，并服务于可控训练数据生成。

提供机构：

巴黎-萨克雷大学; 法国原子能和替代能源委员会·List实验室

创建时间：

2026-10-20

原始信息汇总

ABACUS 数据集详情总结

基本信息

数据集名称：ABACUS
全称说明：A Benchmark for Image Editing Models to Assess Object Category and Counting Under Scene Conservation
定位：用于图像编辑模型在场景保持下评估对象类别与计数的基准
作者：Aymen Lassoued, Angelique Loesch, Romaric Audigier
机构：Université Paris-Saclay, CEA, List, F-91120 Palaiseau, France
会议：WACV 2027, Evaluations and Datasets track
数据集详情页：https://github.com/CEA-LIST/ABACUS
项目页：https://cea-list.github.io/ABACUS/
Hugging Face 数据集：https://huggingface.co/datasets/Aymen-Lassoued/ABACUS_Bench
许可证：CC BY 4.0
论文状态：coming soon

概述

ABACUS 是用于数值图像编辑的基准、无评判评估协议和评分指标。

基于指令的图像编辑器可以添加、移除或改变对象。
生成请求的精确对象数量，同时保持场景其余部分不变，难度较高。
失败会随场景复杂度和请求数量增加而显著增加。
现有基准会遗漏这些失败：相似度指标对计数不敏感，VLM 评判器本身计数能力较弱。
ABACUS 包含 10,944 条指令，覆盖 3,845 张 COCO 图像和全部 80 个类别。
覆盖 add、remove、change，目标计数从 1 到 15，分为 easy、medium、hard 层级。
使用验证过的 ground truth：计数来自 COCONut panoptic masks，由两个独立检测器确认，每个样本由两名标注者检查。
采用无评判协议：每个对象实例通过分割、漂移鲁棒匹配和双检测器一致性获得判定，包括 kept、added、removed、transformed。
无 VLM 负责计数对象或评判编辑。
使用单一严格分数：计数保真度、场景一致性和原始类别保持相乘。
与人类验证结果：精确计数一致率为 0.82，top VLM counter 为 0.55，单开放词汇检测器为 0.28。

基准

每个指令都与已知目标计数和实例级参考配对。

构建流程：

Ground-truth counts 来自 COCO 图像与 COCONut panoptic annotations。
检测器验证审计：RF-DETR 和 Co-DETR 必须都确认计数，且在非生成式 inpainting 移除类别后都必须看到零实例。
由 VLM 进行 addition plausibility check，但 VLM 不设置计数或评分编辑。
Addable capacity：新增实例看起来自然的上限。
指令生成，例如 add K boats，随后由人工验证可行性和难度层级。

Tier	Add	Remove	Change	Total
Easy	1,159	1,146	1,000	3,305
Medium	1,363	1,340	1,128	3,831
Hard	1,374	1,308	1,126	3,808
Total	3,896	3,794	3,254	10,944
Mean K	3.20	2.32	2.30
Max K	15	10	10

难度结合三个 rank-normalized 轴：foreground coverage、target capacity、target-object scale，并在其总和的三分位数处划分。

评估协议

Addition 和 removal 共享一个四阶段流程；change 耦合 removal 分支和 addition 分支。

Stage	What it does
Novelty discovery	Presence-gated SAM 3 在两张图像中分割类别。使用 Hungarian assignment 的几何匹配器区分保留对象和真正新增对象，并修复缺失的 panoptic labels。
Clean-image construction	使用经典、非生成式 inpainting 擦除保留对象，因此只留下新增对象。
Dual-detector confirmation	RF-DETR 和 Co-DETR 对每个候选独立投票。仅当两者一致时，实例才被计数。
Ambiguity resolution	罕见的未确认 crop，占实例的 6.4%，被超分辨率处理，并通过 yes/no 类别问题检查。

Change 只有在 in place 时才被计入，即移除的源实例和新增的目标实例重合，从而拒绝 delete-here、paint-there 编辑。

每个编辑获得：

[ mathrm{Score} = mathrm{CF}cdotmathrm{SC}cdotmathrm{OC} ]

[ mathrm{CF} = frac{2min(d,K)}{d+K} ]

[ mathrm{OC} = 1-frac{N_{mathrm{rem}}}{N_{mathrm{GT}}} ]

其中：

(d) 是 delivered count
(K) 是 requested count
(mathrm{SC}) 是 RAFT optical-flow term 与 background 上 MS-SSIM 的 harmonic mean
(N_{mathrm{rem}}) 是编辑破坏的预存实例数量

排行榜

总体因子在全部 10,944 个编辑上平均，Score 为三者乘积。越高越好。

Model	Type	Count fidelity	Scene consistency	Conservation	Score
Seedream 4.0	Proprietary	0.60	0.79	0.66	0.31
Gemini 2.5 Flash Image	Proprietary	0.59	0.77	0.64	0.29
GPT-Image-1	Proprietary	0.56	0.75	0.62	0.26
Qwen-Image-Edit	Open	0.42	0.69	0.55	0.16
FLUX.1 Kontext	Open	0.39	0.67	0.53	0.14
Step1X-Edit	Open	0.34	0.64	0.50	0.11
BAGEL	Open	0.30	0.62	0.47	0.09

按操作和难度层级展示的 Score，格式为 Easy / Medium / Hard：

Model	Add	Remove	Change
Seedream 4.0	0.55 / 0.42 / 0.28	0.46 / 0.31 / 0.20	0.38 / 0.25 / 0.14
Gemini 2.5 Flash Image	0.52 / 0.39 / 0.26	0.45 / 0.30 / 0.18	0.31 / 0.22 / 0.12
GPT-Image-1	0.51 / 0.36 / 0.25	0.38 / 0.24 / 0.17	0.31 / 0.18 / 0.11
Qwen-Image-Edit	0.35 / 0.23 / 0.13	0.26 / 0.18 / 0.08	0.18 / 0.11 / 0.05
FLUX.1 Kontext	0.30 / 0.20 / 0.12	0.24 / 0.14 / 0.08	0.14 / 0.09 / 0.05
Step1X-Edit	0.24 / 0.16 / 0.10	0.18 / 0.12 / 0.07	0.11 / 0.06 / 0.03
BAGEL	0.20 / 0.13 / 0.08	0.14 / 0.08 / 0.05	0.10 / 0.06 / 0.03

三个 proprietary 模型统计上并列，具有重叠的 95% bootstrap intervals。即使最强编辑器，也在少于一半的编辑中给出精确请求数量。

与人类计数一致性，基于 600 个人工标注编辑：

Evaluator	Easy	Medium	Hard	Overall
Grounding-DINO，单检测器	0.37	0.26	0.23	0.28
Qwen3.6-27B, thinking，solo VLM	0.71	0.54	0.45	0.55
ABACUS	0.89	0.82	0.76	0.82

发布状态

[x] Project page
[ ] Evaluation code
[x] Benchmark dataset on Hugging Face Hub
[ ] Paper

评估设置

协议使用的模型

Component	Role	Checkpoint
SAM 3	presence-gated segmentation	`facebook/sam3`
RF-DETR 2X-Large	detector，consensus	`RFDETR2XLarge`，`rfdetr` package
Co-DETR ViT-L	detector，consensus	`co_dino_5scale_vit_large_coco`
Qwen3.6-27B	对罕见 crops 进行 yes/no category check	`Qwen/Qwen3.6-27B`
Real-ESRGAN	crop super-resolution	`RealESRGAN_x4plus`
RAFT	optical flow for scene consistency	`raft_large`

编辑提示

每个编辑器接收 benchmark instruction，后跟固定场景保持后缀，从而在相同请求下比较所有模型。

对于添加：

Add K {category} to the scene. Keep everything else exactly as-is: same background, lighting, colors, composition, and camera angle. Do not alter, move, or remove existing objects. Only add the new element in a realistic, naturally-placed position.

Removal 和 change 使用类似指令，并带有匹配的 preservation suffix。

数据

基准数据可在 Hugging Face Hub 获取：https://huggingface.co/datasets/Aymen-Lassoued/ABACUS_Bench

每个操作有一个 configuration：add、remove、change。每个难度层级有一个 split：easy、medium、hard。

python from datasets import load_dataset

bench = load_dataset("Aymen-Lassoued/ABACUS_Bench", "add", split="hard") sample = bench[0] print(sample["prompt"], sample["count"], sample["category"])

每个样本提供：

source image
COCO image_id
coco_split
editing prompt
requested count

add 和 remove 样本命名目标 category；change 样本命名 source_category 和 target_category。

ABACUS 构建在 COCO 图像和 COCONut panoptic annotations 上。

引用

bibtex @inproceedings{lassoued2027abacus, title = {{ABACUS}: A Benchmark for Image Editing Models to Assess Object Category and Counting Under Scene Conservation}, author = {Lassoued, Aymen and Loesch, Angelique and Audigier, Romaric}, booktitle = {Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)}, year = {2027} }