有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
CultureVerse|多模态文化理解数据集|视觉-语言模型数据集
收藏arXiv2025-01-02 更新2025-01-06 收录
下载链接：
https://culturevlm.github.io
下载链接
链接失效反馈资源简介：
CultureVerse是一个大规模的多模态文化理解基准数据集，由澳门大学、微软研究院等机构联合构建。该数据集涵盖了19,682个文化概念，覆盖188个国家和地区，包含15个文化类别和3种问题类型，总样本量达到228,053条。数据集的构建过程结合了自动化网络爬取和专家人工标注，确保了数据的多样性和高质量。CultureVerse旨在评估和提升视觉-语言模型（VLMs）的多文化理解能力，特别关注全球南方国家和少数民族文化的代表性。通过该数据集，研究者可以训练和评估模型在不同文化背景下的表现，推动更公平、更具文化意识的多模态AI系统的发展。
提供机构：
澳门大学, 乔治亚理工学院, 微软研究院, Squirrel AI, 利哈伊大学, 威廉与玛丽学院
创建时间：
2025-01-02
AI搜集汇总
数据集介绍
构建方式
CultureVerse数据集的构建采用了多阶段混合方法，结合了自动化网络爬取与专家人工标注，以确保数据的多样性和高质量。首先，通过预定义的15个文化类别（如食物、节日、地标等），从维基百科文档中提取了19,682个文化概念，覆盖了188个国家和地区。随后，利用GPT-4o生成与这些概念相关的图像识别、文化知识和场景推理问题，并通过人工标注进行质量检查，确保问题与图像的准确性和文化相关性。最终，数据集包含228,053个样本，涵盖了3种任务类型和15个文化类别。
特点
CultureVerse数据集的特点在于其广泛的覆盖范围和多样化的文化内容。数据集涵盖了188个国家和地区的19,682个文化概念，确保了全球文化的代表性。此外，数据集通过图像识别、文化知识和场景推理三种任务类型，全面评估了视觉语言模型（VLMs）的文化理解能力。数据集中的文化概念不仅涵盖了常见的西方文化元素，还特别关注了非洲、亚洲等地区的文化，弥补了现有数据集中对非西方文化的不足。
使用方法
CultureVerse数据集主要用于评估和提升视觉语言模型（VLMs）的多文化理解能力。研究人员可以通过该数据集对模型进行微调，以增强其对不同文化背景的理解。具体使用方法包括：首先，使用数据集中的训练集对模型进行微调，提升其在图像识别、文化知识和场景推理任务中的表现；其次，通过测试集评估模型在不同文化背景下的泛化能力。此外，数据集还可用于研究模型在跨文化、跨大陆和跨数据集上的泛化表现，为开发更具文化敏感性的多模态AI系统提供支持。
背景与挑战
背景概述
CultureVerse是由Shudong Liu等人于2025年提出的一个大规模多模态基准数据集，旨在评估和改进视觉-语言模型（VLMs）在跨文化理解方面的能力。该数据集涵盖了19,682个文化概念、188个国家和地区、15个文化类别以及3种问题类型，旨在解决现有VLMs在文化理解上的偏差问题，尤其是对非西方文化的理解不足。CultureVerse的创建标志着在构建更具文化敏感性的多模态AI系统方面迈出了重要一步，推动了全球范围内文化多样性的AI研究。该数据集的研究背景源于VLMs在图像分类和视觉问答等任务中的显著进展，但其在文化符号、手势和文物等深层次文化理解上的表现仍存在显著不足。
当前挑战
CultureVerse面临的挑战主要包括两个方面：首先，现有VLMs在处理文化符号和文物时，往往无法捕捉其深层次的文化含义，导致对非西方文化的理解偏差。例如，模型可能将鹰仅仅识别为一种鸟类，而忽略了其作为美国国家象征的文化意义。其次，数据集的构建过程中也面临诸多挑战，包括文化概念的多样性覆盖、数据收集的规模化和质量保证等。由于文化概念的复杂性和多样性，确保数据集的代表性和准确性需要大量的人工标注和专家参与，这增加了数据集构建的复杂性和成本。此外，现有数据集的英语中心化和西方文化偏见也限制了模型对全球南方文化的理解能力。
常用场景
经典使用场景
CultureVerse数据集在视觉-语言模型（VLMs）的跨文化理解能力评估与提升中具有经典应用场景。该数据集通过涵盖188个国家和地区的19,682个文化概念，提供了丰富的多模态数据，用于测试模型在不同文化背景下的表现。其经典使用场景包括视觉问答、图像识别和文化知识推理任务，帮助研究人员评估模型在识别和理解不同文化符号、手势和文物方面的能力。
实际应用
CultureVerse数据集的实际应用场景广泛，特别是在全球化的AI系统中。例如，在跨文化交流、旅游推荐系统、文化教育平台等领域，该数据集可以帮助AI系统更好地理解和适应用户的文化背景，避免因文化误解导致的沟通障碍。此外，该数据集还可用于开发多语言、多文化的视觉问答系统，提升AI在全球范围内的适用性和用户体验。
衍生相关工作
CultureVerse数据集衍生了一系列相关研究工作，特别是在跨文化视觉-语言模型的微调和评估方面。基于该数据集，研究人员提出了CultureVLM模型，通过微调显著提升了模型在跨文化理解任务中的表现。此外，该数据集还启发了其他跨文化基准的开发，如CVQA和CulturalVQA，进一步推动了多模态AI系统在文化多样性方面的研究与应用。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国劳动力动态调查
“中国劳动力动态调查” （China Labor-force Dynamics Survey，简称 CLDS）是“985”三期“中山大学社会科学特色数据库建设”专项内容，CLDS的目的是通过对中国城乡以村/居为追踪范围的家庭、劳动力个体开展每两年一次的动态追踪调查，系统地监测村/居社区的社会结构和家庭、劳动力个体的变化与相互影响，建立劳动力、家庭和社区三个层次上的追踪数据库，从而为进行实证导向的高质量的理论研究和政策研究提供基础数据。
中国学术调查数据资料库 收录
Nexdata/chinese_dialect
该数据集包含25,000小时的中文方言语音数据，收集自多个方言区域的本地方言使用者，涵盖闽南语、粤语、四川话、河南话、东北话、上海话、维吾尔语和藏语等。数据格式为16kHz、16bit、未压缩的wav文件，单声道。句子准确率超过95%。数据集支持的任务包括自动语音识别（ASR）和音频说话人识别。
hugging_face 收录
yahoo-finance-data
该数据集包含从Yahoo! Finance、Nasdaq和U.S. Department of the Treasury获取的财务数据，旨在用于研究和教育目的。数据集包括公司详细信息、高管信息、财务指标、历史盈利、股票价格、股息事件、股票拆分、汇率和每日国债收益率等。每个数据集都有其来源、简要描述以及列出的列及其数据类型和描述。数据定期更新，并以Parquet格式提供，可通过DuckDB进行查询。
huggingface 收录
DeepFashion
DeepFashion数据集是一个大规模的时尚识别和检索数据集，包含289,222张多样化的衣物图像，以及详细的边界框、时尚地标、类别和属性标注。该数据集由多媒体实验室，香港中文大学开发，用于支持非商业研究及教育目的。
github 收录
HazyDet
HazyDet是由解放军工程大学等机构创建的一个大规模数据集，专门用于雾霾场景下的无人机视角物体检测。该数据集包含383,000个真实世界实例，收集自自然雾霾环境和正常场景中人工添加的雾霾效果，以模拟恶劣天气条件。数据集的创建过程结合了深度估计和大气散射模型，确保了数据的真实性和多样性。HazyDet主要应用于无人机在恶劣天气条件下的物体检测，旨在提高无人机在复杂环境中的感知能力。
arXiv 收录