CDEval

CDEval是由北京交通大学开发的一个用于评估大型语言模型文化维度的基准数据集。该数据集通过结合GPT-4的自动生成和人工验证，涵盖了六个文化维度，跨越七个领域。数据集包含2953个问题，旨在从多角度分析主流大型语言模型的文化倾向，强调在不同维度和领域中的文化一致性和差异性。CDEval的应用领域包括跨文化交流和模型开发，旨在解决如何在多样文化环境中更负责任和道德地使用大型语言模型的问题。CDEval is a benchmark dataset developed by Beijing Jiaotong University for evaluating the cultural dimensions of large language models. This dataset combines automatic generation powered by GPT-4 and manual verification, covering six cultural dimensions spanning seven distinct domains. It contains 2,953 questions, which is designed to analyze the cultural tendencies of mainstream large language models from multiple perspectives, with a focus on cultural consistency and disparities across various dimensions and domains. The application areas of CDEval include cross-cultural communication and model development, and it seeks to address the challenge of responsibly and ethically deploying large language models in diverse cultural contexts.

搜集汇总

数据集介绍

构建方式

CDEval的构建遵循一套严谨的三阶段流程。首先，基于Hofstede的文化维度理论，定义了涵盖权力距离、个人主义等六个维度的分类体系，并融入教育、家庭等七个常见领域以增强多样性。随后，采用GPT-4进行自动化数据生成，结合零样本与少样本提示策略，在确保问题格式统一为二选一选择题的同时，通过引入随机样本作为上下文，显著提升了题目的词汇与句式多样性。最后，经过人工严格核查，从场景自然性、选项区分度等多维度筛选，剔除不符合要求的条目，最终汇聚成包含2953个高质量样本的基准数据集。

特点

该数据集的核心特色在于其多维度的文化覆盖与精细化的评估能力。它系统性地囊括了六个核心文化维度，横跨七个生活领域，为衡量大语言模型的文化倾向提供了全面视角。其问题设计采用二元对立的选择形式，能够有效量化模型在特定文化维度上的取向概率。此外，数据集通过计算Distinct-2与Self-BLEU指标，证实了其卓越的词汇多样性与句子结构丰富性，避免了语义冗余，从而能够更敏锐地捕捉模型在不同文化语境下的细微偏好差异。

使用方法

使用CDEval进行评估时，需将每个选择题与六种不同的提示模板（包括三种人工设计的提问风格及选项顺序的随机化）相结合，构建出多个评估实例。对于每个实例，需对目标大语言模型进行多次重复测试（R次），并通过基于规则的解析方法从模型回复中提取其选择的选项。最终，依据公式计算模型在每个提示模板下选择特定文化取向的概率，并通过加权融合（权重根据各模板的测试稳定性动态调整）得出综合的取向似然值，从而实现对模型文化维度的稳健量化分析。

背景与挑战

背景概述

大型语言模型（LLMs）的迅猛发展带来了对其对齐问题的广泛关注，现有对齐工作多聚焦于普世价值（如HHH原则），却忽视了文化固有的多元性与多样性。在此背景下，北京交通大学与微软亚洲研究院的研究团队于2023年提出了CDEval基准，旨在系统评估LLMs的文化维度。该基准基于霍夫斯泰德文化维度理论，覆盖权力距离、个人主义等六个核心维度，并横跨教育、家庭等七个领域。通过结合GPT-4自动生成与人工验证，CDEval构建了包含2953个高质量题目的评估体系，为探究主流LLMs的文化倾向提供了关键工具。其研究揭示了模型在不同维度和领域中的文化一致性及差异，凸显了在多样化文化场景下整合文化考量的重要性，为开发更具文化感知力的模型奠定了基础。

当前挑战

CDEval所面临的挑战首先体现在领域问题层面：现有LLMs在文化维度评估中暴露出显著的西方文化偏向性，多数模型倾向于反映“富裕西方国家”的文化特征，而忽视了非西方或非富裕地区的文化多样性。这种文化同质化现象源于训练语料中英语材料的支配地位，导致模型难以适应跨文化沟通需求。其次，在基准构建过程中，挑战集中于数据生成与验证的复杂性：如何确保生成的问卷问题自然真实、选项清晰区分不同文化取向，并覆盖多元场景，需要精细的人工审核与迭代优化。此外，评估方法面临稳定性难题——模型对提示词的敏感性使得同一问题在不同模板下可能产生迥异结果，需通过加权策略平衡模板差异，然而判别式方法仍难以完全捕捉生成式任务中的文化表现，开放生成场景的自动化评估更是亟待解决的技术瓶颈。

常用场景

经典使用场景

在跨文化人工智能研究的浪潮中，CDEval基准数据集应运而生，为剖析大型语言模型的文化维度提供了系统化评估工具。该数据集基于霍夫斯泰德文化维度理论，精心构建了涵盖权力距离、个体主义、不确定性规避等六大维度的2953道选择题，横跨教育、家庭、职场等七个领域。研究者可借助该数据集，通过标准化问卷形式精准量化模型在不同文化取向上的倾向性，从而揭示其内在的文化偏好与潜在偏见。

解决学术问题

CDEval数据集有效填补了LLM文化评估领域的空白，解决了现有对齐基准仅关注普世价值而忽视文化多元性的学术困境。通过系统性测量，该数据集揭示了主流LLM在文化维度上的一致性与差异性，例如GPT-4倾向于低权力距离和个体主义，而百川模型则表现出高权力距离倾向。这些发现深化了对模型文化继承机制的理解，为探究训练数据、语言环境与文化取向间的复杂关系提供了实证基础。

衍生相关工作

CDEval数据集的诞生催生了一系列衍生研究。在模型分析层面，研究者基于该基准开展了跨语言文化适应性研究，发现GPT-3.5在不同语言提示下呈现差异化文化取向，但整体仍偏向西方价值观。在模型改进领域，相关工作探索了通过针对性微调来调整模型文化倾向的方法，如利用中文语料微调后的模型在放纵维度上更趋克制。此外，该数据集还推动了文化一致性研究，证实同一模型家族的不同版本具有文化继承性。