Image Cultural Accuracy Benchmark

一个可重复的基准测试，用于测试文化背景是否提高了AI生成图像的历史准确性。包含24对图像，涉及3个角色，背景设定在公元110年的罗马，采用盲法A/B评估方法。

A reproducible benchmark test developed to examine whether cultural background improves the historical accuracy of AI-generated images. It includes 24 pairs of images, involves three characters, is set in Rome in 110 CE, and adopts a blind A/B evaluation methodology.

原始信息汇总

Image Cultural Accuracy Benchmark 数据集概述

数据集简介

这是一个用于测试文化基础是否能提高AI生成图像历史准确性的可复现基准。数据集包含24对图像，涉及设定在公元110年罗马的3个角色，采用盲法A/B方法进行评估。

核心发现

• 主要发现：简单的提示词生成的图像虽然看起来像罗马风格，但包含细微的时代错误（错误的建筑、服装、物品）。通过Triad引擎进行结构化知识注入，可将准确率（PASS率）从12.5%提升至83.3%。
• 评估指标：

  指标	RAW（简单提示）	TRIAD（增强提示）
  PASS（历史准确）	3/24 (12.5%)	20/24 (83.3%)
  PARTIAL（轻微问题）	18/24 (75%)	4/24 (16.7%)
  FAIL（重大时代错误）	3/24 (12.5%)	0/24 (0%)
  被判定为更准确	0/24 (0%)	23/24 (95.8%)

数据集内容

• 图像数据：包含所有48张生成的图像（24张RAW + 24张TRIAD）。

• 角色定义：

  角色	身份	关键视觉标志
  Senator Marcus Tullius	58岁，资深元老	镶紫边的托加长袍，埃斯奎利诺山别墅
  Gaius the Merchant	35岁，获释奴隶商人	丘尼卡和帕利乌姆（非托加长袍），青铜商人徽章
  Julia Aurelia	22岁，贵族女儿	斯托拉和帕拉，图拉真时代的固定发髻

• 示例：简单提示词的常见错误：

  提示词	时代错误	正确描述
  "Senator giving a speech in the Colosseum"	错误地点	元老们在库里亚·朱利亚发表演讲
  "Writing with a pen and paper"	错误材料	使用铁笔的蜡板，或芦苇笔的纸莎草纸
  "Young Roman woman with flowers in her hair"	错误时代	使用金属发簪固定的图拉真时代发髻
  "Merchant wearing Roman clothes"	错误阶级	获释奴隶穿丘尼卡/帕利乌姆，而非托加长袍

数据集结构

data/ image_prompts.json # 24个提示词，包含原始文本、已知时代错误、增强目标 characters.json # 角色定义

cultural_guide_schema/ example_guide.json # 用于构建自定义领域指南的模板模式

runners/ run_image_benchmark.py # 生成RAW和TRIAD图像（需要领域指南） evaluate_images.py # 对现有图像运行盲法Gemini Vision评估

results/ images/ # 所有48张生成的图像（24 raw + 24 triad） image_evaluation_*.json # 机器可读的评估结果

PAPER.md # 完整的研究论文

使用方法

1. 克隆仓库： bash git clone https://github.com/Mysticbirdie/image-cultural-accuracy-benchmark.git cd image-cultural-accuracy-benchmark

2. 安装依赖： bash pip install httpx Pillow

3. 设置API密钥： bash export GOOGLE_API_KEY="your-key-here"

4. 重新运行盲法评估： bash python runners/evaluate_images.py

评估方法

所有24对图像均使用盲法A/B协议进行评估：

1. 图像随机标记为“Image A”/“Image B”——评估者不知道哪张是RAW或TRIAD。
2. 两者均根据相同的历史准确性标准进行评估。
3. 仅在评分后将结果映射回RAW/TRIAD。

相关资源

• 完整研究论文：https://github.com/Mysticbirdie/image-cultural-accuracy-benchmark/blob/main/PAPER.md
• 用于生成TRIAD增强提示词的公元110年罗马领域指南未包含在此仓库中。请参阅cultural_guide_schema/example_guide.json了解模式结构，可为任何历史或文化领域构建自己的指南。

技术要求

• Python 3.10+
• Google AI API密钥（用于评估的Gemini 2.0 Flash——免费层级）
• httpx, Pillow

基准信息

• 基准测试时间：2026年3月
• 图像生成模型：Gemini
• 评估模型：Gemini 2.0 Flash

搜集汇总

数据集介绍

构建方式

在人工智能图像生成领域，评估模型的历史与文化准确性成为一项关键挑战。Image Cultural Accuracy Benchmark 的构建采用了严谨的实证研究方法，围绕公元110年的罗马历史背景，精心设计了涵盖元老、商人、贵族女性三类角色的24个图像生成提示。其核心在于通过对比实验框架，为每个提示分别生成基于原始简单提示的“RAW”图像与基于结构化文化知识注入的“TRIAD”增强提示图像，从而形成48幅图像的配对数据集。数据集的验证过程引入了盲审A/B评估协议，确保评价的客观性。

特点

该数据集的核心特点在于其聚焦于文化准确性的细粒度评估，而非一般的图像质量或美学判断。它揭示了当前AI图像模型在生成历史场景时普遍存在的“历史幻觉”问题，即图像看似符合时代风格，却包含建筑、服饰、器物等方面的细微时代错置。通过提供明确的角色定义、视觉标记以及具体的时代错置示例，数据集为理解模型的文化认知缺陷提供了清晰的参照。其结构化设计使得文化知识注入对准确性的提升效果得以量化呈现，从12.5%的通过率跃升至83.3%，具有显著的说服力。

使用方法

研究人员可利用该数据集复现或扩展关于AI文化准确性的基准测试。具体操作包括克隆代码库后，使用提供的脚本对已有的48幅图像重新运行盲审评估，以验证研究结论。数据集鼓励扩展应用，用户可参照其提供的文化指南架构，为其他历史或文化领域构建自己的知识库，并利用配套的基准测试运行脚本生成新的对比图像对。这为系统性地测量和改善生成式AI的文化与历史保真度提供了一个可复现、可扩展的方法论框架和基准起点。

背景与挑战

背景概述

在人工智能图像生成技术迅猛发展的背景下，模型生成内容的历史与文化准确性日益成为关键研究议题。Image Cultural Accuracy Benchmark 数据集于2026年3月由相关研究团队构建，旨在系统评估AI图像模型在特定历史文化场景中的生成准确性。该数据集聚焦于公元110年的古罗马场景，通过设计包含元老院议员、商人、贵族女性等三类角色的24组图像提示，核心研究问题在于探究结构化知识注入能否显著提升生成图像的历史真实性。这一基准的建立，为量化文化基础对生成模型性能的影响提供了实证依据，推动了AI在数字人文、教育及文化遗产领域应用的可信度研究。

当前挑战

该数据集致力于解决AI图像生成在历史文化场景中普遍存在的‘幻觉’问题，即模型生成看似合理却包含时代错位细节的图像。具体挑战在于，模型往往难以准确捕捉特定时代、地域及社会阶层的细微视觉特征，例如古罗马不同阶层的服饰差异、建筑风格与日常物品的正确形态。在构建过程中，挑战主要体现为如何设计一个公平且可复现的评估协议，包括创建详尽的文化领域指南以注入结构化知识，以及实施双盲A/B测试方法以确保评估结果的客观性，避免评判过程中的偏见干扰。

常用场景

经典使用场景

在人工智能图像生成领域，文化准确性评估常面临历史细节失真的挑战。Image Cultural Accuracy Benchmark通过构建一个可复现的评测框架，专注于评估AI模型在生成特定历史场景图像时的文化准确性。该数据集以公元110年的罗马为背景，包含24组图像对，采用盲审A/B测试方法，系统比较了原始提示与增强提示在生成历史图像时的表现，为量化文化准确性提供了标准化工具。

解决学术问题

该数据集有效解决了人工智能生成内容中普遍存在的历史幻觉问题，即模型生成看似合理但包含细微时代错误的图像。通过引入结构化知识注入的Triad引擎，它将历史准确性通过率从12.5%提升至83.3%，显著降低了建筑、服饰、器物等方面的时代错位。这一工作为跨学科研究提供了实证基础，推动了文化计算与数字人文领域对AI可解释性与可靠性的深入探讨。

衍生相关工作

该数据集衍生了多项经典研究工作，特别是在文化知识注入与提示工程优化领域。基于其框架，研究者扩展了不同历史时期与文化背景的领域指南构建，如中世纪欧洲或古代东亚场景。相关成果进一步推动了多模态大模型的可控生成技术发展，并启发了针对特定文化属性的评估指标设计，为AI伦理与公平性研究提供了新的数据支撑。