THUDM/AlignMMBench

AlignMMBench是一个用于评估中文多模态对齐的大型视觉语言模型的基准测试数据集。该数据集包含单轮和多轮对话场景，涵盖三个类别和十三个能力任务，共有4,978个问答对。数据集的特点包括高质量的人工注释、引入基于ChatGLM3-6B的CritiqueVLM评估器以提高对齐评估的可控性，以及多样化的数据。数据集的使用受CC BY-NC-SA 4.0许可证的约束。

原始信息汇总

AlignMMBench: Evaluating Chinese Multimodal Alignment in Large Vision-Language Models

数据集概述

基本信息

• 许可证: CC BY-NC-SA 4.0
• 任务类别: 视觉问答
• 语言: 中文
• 标签: 图像, 对齐
• 数据集名称: AlignMMBench
• 数据集大小: 1K<n<10K

数据集介绍

• 数据集类型: 多模态对齐基准
• 场景: 包含单轮和多轮对话场景
• 任务类别: 三类，共十三项能力任务
• 数据量: 4,978个问答对

特点

1. 高质量标注: 经过细致的人工标注和多阶段质量控制流程。
2. 自我批评: 引入基于ChatGLM3-6B的CritiqueVLM评估器，经过规则校准和精细调整，评估一致性超过GPT-4。
3. 数据多样性: 包含三类和十三项能力任务，涵盖单轮和多轮对话场景。

许可证

• 数据集和原始视频的使用受Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)许可证约束。

引用

bibtex @misc{wu2024alignmmbench, title={AlignMMBench: Evaluating Chinese Multimodal Alignment in Large Vision-Language Models}, author={Yuhang Wu and Wenmeng Yu and Yean Cheng and Yan Wang and Xiaohan Zhang and Jiazheng Xu and Ming Ding and Yuxiao Dong}, year={2024}, eprint={2406.09295}, archivePrefix={arXiv} }