VIBE Benchmark
收藏VIBE-Benchmark 数据集概述
数据集基本信息
- 数据集名称：VIBE-Benchmark
- 核心任务：视觉指令驱动的图像编辑（Visual Instruction-Driven Image Editing）
- 样本数量：1,034 个样本
- 任务数量：10 个任务
- 组织结构：三层层次结构，反映交互与推理复杂度的递增
- 许可协议：CC BY-NC 3.0，仅限学术研究用途，禁止商业使用
- 数据集获取地址：https://huggingface.co/datasets/VIBE-Benchmark/VIBE-Benchmark
- 相关论文地址：https://arxiv.org/abs/2602.01851
- 项目主页：https://vibe-benchmark.github.io/
基准结构
Level 1: Deictic（指示性）
- 角色：选择器（Selector）
- 焦点：空间基础（Spatial Grounding）
- 包含任务：
- 添加（Addition， AD）
- 移除（Removal， RM）
- 替换（Replacement， RP）
- 平移（Translation， TR）
Level 2: Morphological（形态学）
- 角色：蓝图（Blueprint）
- 焦点：结构约束（Structural Constraints）
- 包含任务：
- 姿态控制（Pose Control， PC）
- 重新定向（Reorientation， RO）
- 草图实例化（Draft Instantiation， DI）
Level 3: Causal（因果性）
- 角色：催化剂（Catalyst）
- 焦点：因果推理（Causal Reasoning）
- 包含任务：
- 光线控制（Light Control， LC）
- 流体模拟（Flow Simulation， FS）
- 台球（Billiards， BI）
数据集内容与结构
目录结构
VIBE-Benchmark-Dataset/ ├── Tasks/ │ ├── Level-1-Deictic/ │ ├── Level-2-Morphological/ │ └── Level-3-Causal/ ├── Common_Corpus/ │ ├── animation/ │ ├── real-world/ │ └── sketch/
结果文件格式
每个任务的结果 JSON 文件需遵循以下格式： json [ { "id": "Task_0001", "prompt": "Add a red ball to the scene", "saved_image_path": "imgs/sample_001.mp4" } ]
示例文件参考：https://huggingface.co/datasets/VIBE-Benchmark/VIBE-Banana-Pro/blob/main/Dimension-I/Addition/Addition_results.json
评估方法
- 评估脚本：
eval.sh - 评估流程：
- 自动遍历所有 10 个任务。
- 使用特定于任务的提示评估每个样本（支持多次重复）。
- 使用详细的每样本分数更新 JSON 文件。
- 生成包含所有指标均值和方差的聚合摘要。
- 将执行日志保存到
logs/目录。
引用信息
如需在研究中引用 VIBE，请使用以下 BibTeX 条目： bibtex @misc{zhang2026vibe-benchmark, title={How Well Do Models Follow Visual Instructions? VIBE: A Systematic Benchmark for Visual Instruction-Driven Image Editing}, author={Huanyu Zhang and Xuehai Bai and Chengzu Li and Chen Liang and Haochen Tian and Haodong Li and Ruichuan An and Yifan Zhang and Anna Korhonen and Zhang Zhang and Liang Wang and Tieniu Tan}, year={2026}, eprint={2602.01851}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2602.01851}, }
注意事项
- 数据集图像收集自多种来源，已尽力过滤不当内容。如发现任何侵犯版权或隐私的图像，请联系作者。
- 联系方式：Huanyu Zhang
