q-future/q-bench2
收藏Hugging Face2024-02-23 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/q-future/q-bench2
下载链接
链接失效反馈官方服务：
资源简介：
本数据集是针对低级视觉多模态基础模型的基准测试集，涵盖从单张图像到成对图像的任务。数据集包含多个jsonl文件，每个文件包含图像路径、问题、候选答案和正确答案（或空响应）。图像路径由前缀、两张图像名和_cat_连接组成。数据集还提供了所有单张图像和拼接图像的存储结构，并指导用户如何提交自己的多模态语言和语言模型(MLLM)进行测试。
本数据集是针对低级视觉多模态基础模型的基准测试集，涵盖从单张图像到成对图像的任务。数据集包含多个jsonl文件，每个文件包含图像路径、问题、候选答案和正确答案（或空响应）。图像路径由前缀、两张图像名和_cat_连接组成。数据集还提供了所有单张图像和拼接图像的存储结构，并指导用户如何提交自己的多模态语言和语言模型(MLLM)进行测试。
提供机构：
q-future
原始信息汇总
数据集概述
数据集名称
- A Benchmark for Multi-modal Foundation Models on Low-level Vision: from Single Images to Pairs
数据集结构
- q-bench2-a1-dev.jsonl: 包含 img_path, question, answer_candidates, correct_answer
- q-bench2-a1-test.jsonl: 包含 img_path, question, answer_candidates, 不包含 correct_answer
- q-bench2-a2.jsonl: 包含 img_path, empty response
图像路径组织
- 图像路径格式为 prefix + img1 + _cat_ + img2 + .jpg
- 示例：img_path 为 "llvisionqa_compare_dev\00079.jpg_cat_09769.jpg.jpg"，则 prefix 为 "llvisionqa_compare_dev"，img1 为 "00079.jpg"，img2 为 "09769.jpg"
图像文件结构
- all_single_images: 所有单张图像
- llvisionqa_compare_dev: perception-compare 任务的 dev 子集的拼接图像
- llvisionqa_compare_test: perception-compare 任务的 test 子集的拼接图像
- lldescribe_compare: description-compare 任务的拼接图像
提交格式
- Perception-compare 任务 (a1): 组织 jsonl 文件为 "q-bench2-a1-test_(YOUR_MLLM_NAME).jsonl"，结构与 "q-bench2-a1-dev.jsonl" 相同
- Description-compare 任务 (a2): 完成 "q-bench2-a2.jsonl" 文件的空 "response"，并重命名为 "q-bench2-a2_(YOUR_MLLM_NAME).jsonl"
联系信息
- Zicheng Zhang, zzc1998@sjtu.edu.cn
- Haoning Wu, haoning001@e.ntu.edu.sg
