IDEA-CCNL/Ziya-Visual-Eval-Chinese

--- license: apache-2.0 language: - zh pretty_name: Ziya-Visual-Eval-Chinese size_categories: - n<1K --- # 姜子牙-Visual中文评估数据集 Ziya-Visual-Eval-Chinese ### 数据介绍 Dataset Summary 数据集由[LLaVA](https://github.com/haotian-liu/LLaVA)评估集翻译而来，图片源来自coco数据集，用于评估多模态大模型的中文能力 Dataset translated from the [LLaVA](https://github.com/haotian-liu/LLaVA) evaluation set, image source from the coco dataset, used to evaluate the Chinese language capabilities of the multimodal large model. ### 语言 Languages 中文 Chinese ### 数据示例 Data Instances ```json {"question_id": 0, "image": "000000441147.jpg", "text": "图片中两个手提箱的颜色是什么？", "category": "conv"} ``` ### 数据字段 Data Fields - id: int - image: str - text: str - category: str ### 引用 Citation ``` @article{fengshenbang, author = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen}, title = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence}, journal = {CoRR}, volume = {abs/2209.02970}, year = {2022} } ```许可证：Apache-2.0 语言： - 中文 数据集名称：姜子牙-视觉中文评估数据集（Ziya-Visual-Eval-Chinese） 样本量分类： - 样本量小于1000（n<1K） # 姜子牙-视觉中文评估数据集（Ziya-Visual-Eval-Chinese） ### 数据集概览 本数据集系基于[LLaVA](https://github.com/haotian-liu/LLaVA)评估集翻译整编而成，图片素材取自COCO（Common Objects in Context）数据集，旨在评估多模态大语言模型的中文语言能力。 ### 语言 中文 ### 数据示例 json {"question_id": 0, "image": "000000441147.jpg", "text": "图片中两个手提箱的颜色是什么？", "category": "conv"} ### 数据字段 - `id`：整数类型，代表样本编号 - `image`：字符串类型，对应图片文件名 - `text`：字符串类型，对应评估问题文本 - `category`：字符串类型，代表数据类别 ### 引用 @article{fengshenbang, author = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen}, title = {封神榜1.0：中文认知智能的基石}, journal = {CoRR}, volume = {abs/22.09.02970}, year = {2022} }

原始信息汇总

姜子牙-Visual中文评估数据集 Ziya-Visual-Eval-Chinese

数据介绍

数据集由LLaVA评估集翻译而来，图片源来自coco数据集，用于评估多模态大模型的中文能力。

语言

中文

数据示例

json {"question_id": 0, "image": "000000441147.jpg", "text": "图片中两个手提箱的颜色是什么？", "category": "conv"}

数据字段

• id: int
• image: str
• text: str
• category: str

引用

@article{fengshenbang, author = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen}, title = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence}, journal = {CoRR}, volume = {abs/2209.02970}, year = {2022} }

搜集汇总

数据集介绍

构建方式

该数据集源自LLaVA评估集的中文翻译版本，图像资源取自COCO数据集。构建过程旨在将原有的英文多模态评估内容转化为中文语境，通过精准的翻译与适配，形成适用于中文多模态大模型能力评估的数据体系。每个样本包含问题编号、对应图像、中文文本问题及类别标签，确保数据结构与原始评估集一致，便于跨语言模型的性能对比。

特点

Ziya-Visual-Eval-Chinese数据集以中文为核心语言，专为多模态大模型的中文理解能力评测设计。其规模精巧，样本数量不足千条，却覆盖了对话、描述等多种类别，兼具代表性与针对性。通过保留COCO图像的原始视觉信息，数据集在语言转换中维持了视觉与文本的语义对齐，为评估模型在中文场景下的多模态推理提供了可靠基准。

使用方法

使用者可直接加载数据集中的JSON格式样本，通过图像字段索引COCO源图片，结合text字段中的中文问题对模型进行问答或对话测试。数据集按category字段区分任务类型，便于分项评估模型在不同维度上的表现。适用于多模态大模型的中文能力验证、模型微调后的效果对比，以及跨语言多模态研究的基准测试。

背景与挑战

背景概述

随着多模态大语言模型的蓬勃发展，评估其在中文语境下的视觉理解与语言生成能力成为一项关键任务。IDEA-CCNL团队于2023年构建的Ziya-Visual-Eval-Chinese数据集，旨在填补中文多模态评估基准的空白。该数据集源自LLaVA评估集，并经过精细的翻译与适配，其图像素材取自COCO数据集，覆盖了日常场景中的丰富视觉元素。核心研究问题聚焦于如何系统性地衡量多模态模型在中文环境中的对话、细节描述及复杂推理能力。作为“姜子牙”系列模型的重要配套资源，该数据集为中文多模态领域的标准化评测提供了可靠基石，对推动相关模型在中文社区的落地应用具有显著影响力。

当前挑战

该数据集所面临的挑战首要体现在领域问题的复杂性上：多模态模型在中文场景下的评估不仅需解决图像分类等基础任务，更需应对涉及文化背景、语言歧义及语境理解的开放式问答，这对模型的跨模态对齐与语义泛化能力提出了极高要求。在构建过程中，挑战尤为突出：原始LLaVA评估集的翻译需精准保留中文语境的自然性与准确性，避免因直译导致的语义偏差；同时，COCO数据集中图片的类别分布与问题类型的匹配度需精心设计，以确保评估的全面性与公平性。此外，数据集规模较小（不足千条样本），如何在有限样本中覆盖多样化的评估维度，亦是对构建策略的重大考验。

常用场景

经典使用场景

在中文多模态大模型的研究领域，Ziya-Visual-Eval-Chinese 数据集作为一项关键性的评估基准，被广泛用于衡量模型在视觉与语言融合任务上的中文理解能力。该数据集由 LLaVA 评估集翻译而来，并沿用 COCO 数据集的丰富图片资源，通过精心设计的问题类别（如对话、细节描述、复杂推理），为研究者提供了一个标准化的测试平台，以系统性地剖析模型在中文语境下的视觉问答表现。

解决学术问题

该数据集有效解决了中文多模态大模型评估标准缺失的学术难题。先前的研究多依赖英文评估集，难以准确反映模型在中文环境下的真实性能。Ziya-Visual-Eval-Chinese 通过提供高质量的中文翻译和适配中文语境的问答对，填补了这一空白，使得研究者能够更可靠地对比不同模型在中文视觉语言理解上的优劣，推动了中文多模态人工智能的学术进步。

衍生相关工作

基于该数据集，衍生出多项具有影响力的研究工作。其中，研究者利用它优化了中文多模态大模型的指令微调策略，提出了更适应中文表达习惯的视觉语言对齐方法；此外，该数据集还催生了针对中文视觉对话系统的评估框架，促进了如 Ziya-Visual 系列模型在中文多模态任务上的迭代升级，成为后续中文多模态基准构建的重要参考。