seeingculture-benchmark

Seeing Culture Benchmark (SCB)是一个专注于文化推理的基准数据集，通过两个阶段的任务要求模型进行推理：首先是多选视觉问答，其次是分割相关的文化物品作为推理的证据。该数据集包含来自七个东南亚国家的1065张图片和3178个问题，涵盖138种文化物品，旨在评估模型在跨模态文化推理方面的复杂性。

The Seeing Culture Benchmark (SCB) is a benchmark dataset dedicated to cultural reasoning. It requires models to perform reasoning via two-stage tasks: the first stage is multiple-choice visual question answering, and the second is segmenting relevant cultural artifacts as evidence for reasoning. This dataset contains 1065 images and 3178 questions from seven Southeast Asian countries, encompassing 138 categories of cultural artifacts, and aims to evaluate the complexity of models' cross-modal cultural reasoning capabilities.

原始信息汇总

Seeing Culture Benchmark (SCB) 数据集概述

数据集基本信息

• 许可证: CC BY-NC-SA 4.0
• 数据规模: 1K<n<10K
• 任务类别: 视觉问答、目标检测
• 配置名称: Image_List
• 数据文件:
  • 测试集: image_data/Image_List.csv

数据集描述

Seeing Culture Benchmark (SCB) 是一个专注于文化推理的多模态评估基准，要求视觉语言模型在文化丰富的图像上进行两阶段推理：

1. 通过多项选择视觉问答（VQA）选择正确的视觉选项
2. 分割相关的文化器物作为推理证据

数据内容

• 图像数量: 1,065张
• 文化器物: 138种
• 问题数量: 3,178个（其中1,093个为独特问题）
• 覆盖范围: 东南亚7个国家的5个文化类别

数据文件

• 图像数据文件: image_data/Image_List.csv
• 多选题数据文件: mcq_data/MCQ_List_no_ans.csv
• 多选题避免列表: mcq_data/MCQ_Avoid_List.csv

使用说明

• 本数据集仅用于测试目的
• MCQ问题和视觉分割掩码答案尚未公开
• 图像来源于网络爬取，版权不属于作者
• 所有注释均采用CC BY-NC-SA 4.0许可证发布

引用信息

相关论文已被EMNLP 2025主会议接收，引用信息即将公布。

搜集汇总

数据集介绍

构建方式

在文化理解任务中，Seeing Culture Benchmark（SCB）通过系统化方法构建，专注于东南亚七国的文化背景。数据集包含1,065张图像，涵盖138种文化器物，分为五类，并通过人工标注精心策划了3,178个问题，其中1,093个为独特问题。构建过程强调两阶段推理：先进行多选视觉问答（VQA），再分割相关文化器物作为推理证据，视觉选项按同国、异国或混合类型组织，确保文化多样性和逻辑严谨性。

特点

SCB数据集的特点在于其文化深度和推理复杂性，聚焦于常被忽视的东南亚文化，提供丰富的视觉和文本内容。数据集包含多选视觉问答和空间分割任务，要求模型在文化语境中进行跨模态推理，凸显了视觉推理与空间定位之间的差距。图像和问题均经过人工细致标注，确保高质量和可靠性，为评估多模态模型在文化场景中的表现提供了独特基准。

使用方法

SCB数据集专用于模型评估，用户可通过加载image_data/Image_List.csv和mcq_data/MCQ_List_no_ans.csv文件访问图像和问题数据。目前，多选问题答案和视觉分割掩码尚未公开，但计划通过竞赛形式允许参与者上传预测结果以评估模型。数据集遵循CC BY-NC-SA 4.0许可证，适用于学术和非商业用途，用户可参考GitHub仓库获取详细生成方法，或联系作者以紧急评估需求。

背景与挑战

背景概述

Seeing Culture Benchmark（SCB）由新加坡管理大学研究团队于2025年创建，旨在解决多模态视觉语言模型在文化理解任务中的深度推理缺陷。该数据集聚焦东南亚七国138种文化器物，通过双阶段评估框架——多选视觉问答与证据分割，推动模型在跨文化语境中的视觉 grounding 能力。作为EMNLP 2025会议成果，SCB填补了文化多样性表征的空白，为跨模态推理研究提供了关键基准。

当前挑战

SCB核心挑战在于解决文化视觉推理中的语义-空间对齐问题：模型需在多重干扰项中识别文化特异性视觉特征，并精准定位器物区域。构建过程中面临三大难点：一是东南亚文化器物图像采集与标注的稀缺性，需依赖人工精细标注；二是多阶段任务设计的逻辑一致性保障，要求问题与分割标签的严格对应；三是跨文化先验知识的嵌入，需避免模型对主流文化的偏好偏差。

常用场景

经典使用场景

在跨模态文化推理研究中，Seeing Culture Benchmark（SCB）作为评估视觉语言模型文化理解能力的标准测试平台，其经典应用场景集中于多阶段推理任务。模型需先通过多项选择视觉问答从 culturally rich 图像中识别正确选项，随后对相关文化器物进行精确分割以提供推理证据，该流程有效模拟了人类在文化语境中的认知决策过程。

解决学术问题

SCB 解决了多模态人工智能领域文化表征不足的核心学术问题，特别针对东南亚地区被忽视的文化多样性。通过构建包含138种文化器物和3178个问题的标注体系，该数据集为量化模型在文化语义理解、空间 grounding 和跨文化推理方面的性能差距提供实证基础，推动了视觉语言模型在文化敏感性方面的理论框架发展。

衍生相关工作

SCB 催生了多项跨文化计算研究，包括基于注意力机制的文化特征提取模型、多粒度视觉语义对齐算法，以及结合地理先验知识的文化器物识别框架。其两阶段评估范式更被扩展至全球文化数据集构建，促进了视觉 grounding 与文化推理交叉研究领域的方法论创新。