KnowCP

KnowCP 是一个专注于中国绘画理解与推理的基准数据集，支持识别式任务（如区域/文本提取）和知识/推理任务（如开放式问答、多项选择和多轮问答）。数据集包含图像和文本两种模态，语言为中文，采用CC BY 4.0许可协议。数据集总规模包括2331张图像和26137个问题项。数据集结构分为两个主要部分：`image`系列包含图像及其元数据（如标题、艺术家、朝代、机构等），`qa`系列包含14种问题类型，每种类型10个问题项（共140项）。数据集适用于视觉问答、多项选择问答和文档问答等任务。KnowCP is a benchmark dataset focused on Chinese painting understanding and reasoning. It supports both recognition tasks (e.g., region/text extraction) and knowledge/reasoning tasks (e.g., open-ended question answering, multiple-choice question answering, and multi-turn question answering). The dataset contains two modalities: image and text, with all text content in Chinese, and is released under the CC BY 4.0 license. The total scale of the dataset includes 2331 images and 26,137 question items. The dataset is structured into two main sections: the `image` series, which contains images and their metadata such as title, artist, dynasty, institution, etc., and the `qa` series, which consists of 14 question types with 10 question items per type, totaling 140 items. This dataset is applicable to tasks including visual question answering, multiple-choice question answering, and document question answering.

原始信息汇总

KnowCP 数据集概述

数据集基本信息

• 数据集名称: KnowCP
• 主要用途: 中国画理解与推理基准测试
• 支持任务类型: 识别式任务（区域/文本提取）与知识/推理任务（开放问答、多项选择、多轮问答）
• 模态: 图像 + 文本
• 语言: 中文
• 许可协议: CC BY 4.0
• 任务类别: 视觉问答、多项选择问答、文档问答
• 标签: 中国画、文化遗产、多模态、基准测试

数据规模

• 图像总数: 2331
• 问题项总数（完整集）: 26137

数据集结构

数据集包含两个配置系列：

• image 配置（默认）: 包含图像及其元数据。
• qa 配置: 包含问题与答案对。

数据字段说明

image 系列字段

• image: 渲染的图像
• image_id: 图像标识符
• title: 画作标题
• artist: 艺术家
• dynasty: 朝代
• institution: 收藏机构
• material: 材质

qa 系列字段

• image: 渲染的图像
• qid: 问题标识符
• type: 问题类型
• question: 问题文本
• ground_truth: 真实答案

数据集查看器布局

数据集卡片展示两个系列的样本：

• image 系列: 前100幅单幅画作艺术品及其元数据。
• qa 系列: 14种问题类型，每种类型10个项目（共140项）。

仓库文件结构

• images/**: 图像资源
• kb/knowledge_base.json: 艺术品元数据（title, artist, dynasty, institution）
• annotations/*.json: 印章/题跋/物体/技法标注导出文件
• questions/by_type/*.jsonl: 按类型分类的源问题文件
• card_samples/parquet/image.parquet: 图像系列表格文件
• card_samples/parquet/qa.parquet: 问答系列表格文件

使用方式

可通过 datasets 库加载数据集： python from datasets import load_dataset repo_id = "g41/KnowCP" image_ds = load_dataset(repo_id, name="image") qa_ds = load_dataset(repo_id, name="qa")

相关资源链接

• 代码仓库: https://github.com/41-edu/KnowCP
• 数据集地址: https://huggingface.co/datasets/g41/KnowCP

搜集汇总

数据集介绍

构建方式

在文化遗产数字化保护与智能理解领域，KnowCP数据集通过系统化的多模态数据整合构建而成。其核心构建流程基于精选的2331幅中国画作图像，每幅作品均配有详尽的元数据，包括标题、作者、朝代、收藏机构及材质信息。数据标注工作涵盖了印章、题跋、物体与技法等多个维度，并依托结构化的知识库文件进行组织。问题生成环节设计了14种不同的任务类型，最终形成了包含26137个问答项的高质量基准测试集。

特点

该数据集在视觉问答与文化遗产理解领域展现出鲜明的特色。其多模态特性深度融合了图像与文本信息，支持从区域识别、文本提取到开放式问答、多项选择及多轮对话等多种任务类型。数据集全面覆盖中国画的丰富元素，如印章、题跋、技法等，为模型提供了深层次的文化语境理解挑战。严格的标注体系与多样的问题设计，使其成为评估模型在复杂文化场景下认知与推理能力的可靠基准。

使用方法

研究者可通过Hugging Face平台便捷地加载并使用KnowCP数据集。利用`datasets`库，分别指定`image`与`qa`配置即可载入图像元数据与问答数据。数据集支持标准的Python数据操作流程，便于进行模型训练与评估。对于基准测试，项目提供了完整的评估脚本，用户可配置本地文件路径与模型API，系统化地测评模型在各项任务上的性能表现，推动中国画智能理解技术的发展。

背景与挑战

背景概述

随着数字人文与文化遗产保护领域的蓬勃发展，中国绘画作为东方艺术的重要载体，其多模态理解与智能分析逐渐成为学术研究的前沿课题。KnowCP数据集由研究团队于近期构建，旨在系统性地评估模型对中国绘画的认知与推理能力。该数据集整合了2331幅画作图像与丰富的文本标注，涵盖题跋、印章、技法等多维度信息，并设计了涵盖识别与推理两大范畴的多样化任务。其核心研究问题聚焦于如何通过计算模型深入解读绘画中的视觉元素与文化内涵，从而推动艺术史学与人工智能的交叉融合，为文化遗产的数字化传承提供新的方法论支撑。

当前挑战

在艺术智能领域，中国绘画的理解面临多重挑战：绘画作品蕴含复杂的视觉符号、历史语境与艺术风格，要求模型不仅能识别图像中的具体对象，还需结合艺术史知识进行深层次推理，例如解读题跋的文学意义或印章的归属信息。构建KnowCP数据集的过程中，研究团队需克服标注一致性的难题，确保不同专家对同一艺术元素的注释达成共识；同时，如何平衡数据规模与标注质量，以及设计既具挑战性又符合艺术学逻辑的问答任务，也是数据集构建的关键难点。这些挑战共同指向了多模态人工智能在复杂文化场景中应用的局限性。

常用场景

经典使用场景

在文化遗产数字化与多模态人工智能交叉领域，KnowCP数据集为研究者提供了一个系统评估模型对中国绘画理解与推理能力的基准平台。其经典使用场景聚焦于视觉问答任务，涵盖从简单的区域或文本提取到复杂的开放式问答、多项选择及多轮对话等多种任务类型，旨在全面检验模型在融合视觉信息与领域知识方面的表现。

实际应用

在实践层面，KnowCP数据集为文化遗产的智能化管理与公众教育提供了技术支撑。基于该数据集训练的模型，可应用于博物馆的智能导览系统，自动解析画作内容并回答游客提问；亦可用于数字档案的自动化标注与知识图谱构建，提升文化遗产数字化保护的效率与深度。

衍生相关工作

围绕KnowCP数据集，已衍生出一系列探索多模态大模型在专业领域应用的研究工作。这些工作不仅关注提升模型在基准测试上的性能，更深入探究如何将外部知识库与视觉语言模型有效结合，以完成更复杂的艺术风格分析、历史脉络追溯等任务，为领域特定的AI评估树立了典范。