CountVideoBench

CountVideoBench 是由里昂国立应用科学学院、卢米埃里昂第二大学、法国国家科学研究中心和克洛德·贝尔纳里昂第一大学等机构在 LIRIS 实验室构建的视频目标计数诊断基准，旨在评估视频语言模型在不同基数下的计数能力与预测偏差。数据集包含 2,600 段合成视频，均匀覆盖 [5,50] 内 26 个基数，每个基数 100 段；每段 5 秒、30 fps、1920×1080，仅含单一类别的静态几何物体并配合受控相机运动，以隔离识别与物体运动干扰。视频由 Blender 程序化生成，采用锚点-邻域结构围绕 {5,10,20,30,40,50} 采样，使相邻计数可直接比较。该基准用于视频语言模型零样本计数评测，意在解决现有 VideoQA 计数基准分布高度偏斜、难以揭示值依赖偏差的问题。

原始信息汇总

CountVideoBench 数据集概述

基本信息

项目	内容
名称	CountVideoBench
会议/年份	BMVC 2026
作者	Marc Chapus、Carlos Crispim-Junior、Véronique Eglin、Atilla Baskurt
机构	INSA Lyon, Université Lumière Lyon 2, CNRS, Université Claude Bernard Lyon 1, LIRIS, UMR5205, Villeurbanne, France
数据集页面	https://countvideobench.github.io
定位	用于评估视频语言模型在物体计数任务中预测偏差的诊断基准
资源入口	Paper arXiv、Dataset Hugging Face、Code GitHub、BibTeX
联系邮箱	[e-mail]

数据集内容

项目	内容
视频数量	2,600 个，每个计数 100 个
计数范围	26 个计数，介于 5 与 50，连续值分组为 5–12、18–22、28–32、38–42、48–50
物体	每视频一类：cube 或 sphere，共五种颜色
场景	静态物体，移动相机
格式	MP4，1920×1080，30 fps，5 s
Ground truth	精确，来自生成器
许可证	CC BY 4.0
大小	139 GB

• 页面显示 Video coming soon。
• 示例计数视频包括：5 yellow cubes、20 red cubes、50 blue spheres。

基准设计

• CountVideoBench 包含 2,600 个合成视频，均匀分布在 5 到 50 之间的 26 个计数上。
• 每个视频显示单一类别的静态物体，并在移动相机下拍摄。
• 现有视频基准中的计数问题集中于少数小值，平均准确率掩盖模型在低频计数上的表现。
• 在 16 个模型中，无一超过 27.6% Exact Match。
• 准确率并不随计数增长而简单下降：模型答案集中在少数偏好值，准确率在这些值上出现峰值，并在相邻计数上崩溃。
• 在九个现有视频基准中，每个基准至少 72% 的计数问题答案 ≤10；CountVideoBench 对 5 到 50 的每个计数赋予相同权重，其 ≤10 比例约为 23%。

与现有基准的计数分布对比

基准	答案 ≤10 的比例
CLEVRER	100%
MVBench	100%
TGIF-QA	100%
VLM4D	99%
NExT-QA	98%
VideoCount	98%
Video-MME	93%
CG-AV-Counting	90%
VCBench	72%
CountVideoBench	23%

获取与使用

• CountVideoBench 托管于 Hugging Face Hub。
• 数据集公开，无需账号。
• 可使用 Python datasets 库加载，或使用 Hugging Face 命令行工具 hf 下载视频文件。
• Hugging Face 数据集标识：countvideobench/CountVideoBench。
• 安装：pip install -U datasets。
• 使用 question 字段作为 prompt 与论文比较。
• 评估代码可复现论文结果，并包含用于评估自定义模型的模板。

评估设置

• 评估了来自九个家族的 16 个视频语言模型。
• 评估方式为零样本，在每视频均匀采样的 10 帧上进行。
• Exact Match 按 ground-truth count 统计，覆盖全部 2,600 个视频。
• EM、Acc@10% 和 Coverage 单位为百分比；MAE 和 RMSE 单位为物体数量，基于已回答视频计算。
• 不同预测值数表示模型预测的不同数值数量；PP 表示预测困惑度。
• 最佳 EM 为 Gemini-3.1-pro 的 27.6%；最佳 Acc@10%、MAE、RMSE 为 GPT-5.4 的 70.5%、1.7、2.4。
• VideoLLaMA2-7B† 仅回答 1.2% 的视频，未参与 MAE 和 RMSE 排名。

模型	EM (%)	Acc@10% (%)	MAE	RMSE	Coverage (%)	不同预测值数	PP
Gemini-3.1-pro proprietary	27.6	55.3	3.1	5.2	97.7	55	38.9
LLaVA-Video-7B	26.8	56.3	3.7	6.1	98.9	16	8.0
GPT-5.4 proprietary	25.7	70.5	1.7	2.4	100.0	48	30.6
Qwen3-VL-32B	22.1	39.4	4.5	9.3	75.1	83	27.8
Qwen3-VL-8B	18.7	47.7	3.4	5.5	100.0	31	17.7
AdaReTaKe-72B	16.7	39.1	4.2	6.2	97.5	27	12.3
InternVL2.5-78B	15.8	23.4	4.5	8.5	49.7	17	5.9
AdaReTaKe-7B	15.1	34.4	4.5	6.8	91.1	28	11.3
LLaVA-Video-72B	14.1	27.8	2.5	3.4	69.1	21	10.5
InternVL2.5-8B	14.0	38.2	15.8	28.5	97.9	16	9.4
NVILA-15B	12.5	45.4	3.5	6.1	100.0	27	14.3
NVILA-8B	6.6	24.5	5.9	9.1	100.0	26	12.8
VideoLLaMA2-72B	5.0	7.6	11.9	17.8	71.1	25	8.9
Qwen2.5-VL-72B	3.9	8.9	7.4	10.0	82.2	31	17.6
Qwen2.5-VL-7B	1.9	6.1	8.6	11.8	73.7	32	10.9
VideoLLaMA2-7B†	0.1	0.1	1.7	1.9	1.2	5	1.1
Oracle	100.0	100.0	0.0	0.0	100.0	26	26.0

人类对照

• 在 104 个视频子集上，20 名人类参与者达到 90.8% Exact Match。
• 同一视频上，最佳模型为 26.9% Exact Match。

贡献模型

• 添加模型到结果表：使用评估代码运行模型，并将生成的 CSV 发送至 [e-mail]。

引用

bibtex @inproceedings{chapus2026countvideobench, author = {Chapus, Marc and Crispim-Junior, Carlos and Eglin, V{e}ronique and Baskurt, Atilla}, title = {{CountVideoBench}: A Benchmark to Evaluate Prediction Biases on the Object Counting task by Video-Language Models}, booktitle = {37th British Machine Vision Conference 2026, {BMVC} 2026, Lancaster, UK, November 23-26, 2026}, publisher = {BMVA}, year = {2026} }