cultural-response-framing

“文化响应框架”数据集是一个公开的分析子集，源自一项关于大语言模型中文化偏见响应框架的研究。该数据集包含来自Reddit的帖子，其核心特征是所有被评估的大型语言模型（包括Llama、Gemma和Mistral）在分析框架下都获得了一致的判断标签，即模型在响应框架行为上达成共识（尽管每个模型生成的实际响应文本不同）。数据集不包含模型生成的响应文本本身，仅提供原始Reddit帖子元数据（如帖子ID、标题、正文、所属subreddit）、基于19类分类法的主题类别、从subreddit推断出的国家标签，以及三个LLM对每个帖子的一致判断标签。数据集的目的是帮助研究人员识别哪些类型的问题更可能引发可能导致下游文化伤害的模型响应，例如过度概括、不恰当的立场定位、拟人化或违反会话准则。数据集根据判断类别被组织成9个分割，涵盖三个主要分析维度：1) 拟人化（3个分割），涉及模型响应中赋予LLM类人情感、共情或验证；2) 定位与概括（2个分割），涉及模型采用文化外来者立场或对群体进行笼统概括；3) 违反格赖斯会话准则（4个分割），涉及模型响应违反质量、数量、关联和方式等会话准则。每个分割内的所有条目，其三个LLM的判断标签值均相同，确保了数据点的一致性。

原始信息汇总

Cultural Response Framing 数据集概述

基本信息

• 语言: 英语 (en)
• 任务类别: 文本分类 (text-classification)
• 标签: Reddit、文化、LLM评估、格莱斯准则、拟人化、偏见
• 数据集名称: Cultural Response Framing

数据集描述

本数据集是一项关于大型语言模型（LLM）中文化偏见响应框架研究的分析子集。包含来自Reddit的帖子，其中所有被评估的LLM（Llama、Gemma、Mistral）都获得了相同的判断结果——即模型在框架行为上达成一致的帖子，尽管每个模型生成的实际响应文本不同。

注意：LLM响应文本本身未发布。每条记录仅包含原始的Reddit帖子元数据、国家和主题标签，以及每个模型的一个判断标签。

背景

帖子来源于特定国家和文化导向的子版块（subreddit）。每条帖子经过框架处理，评估LLM响应是否表现出特定框架行为，涵盖四类：

• 拟人化 (Anthropomorphism)
• 定位与泛化 (Positioning and Generalization)
• 违反格莱斯会话准则 (Violations of Gricean conversational maxims)

仅包含所有三个LLM获得相同判断的数据点。

数据集划分

数据集分为 9 个划分，涵盖三个判断类别：

拟人化 (3个划分)

划分名称	描述
EMOTIONS_ANTHRO	引发模型响应中出现拟人化情感语言的帖子
EMPATHY_ANTHRO	引发模型响应中出现拟人化共情表达的帖子
VALIDATION_ANTHRO	引发模型响应中出现拟人化肯定或认同语言的帖子

定位与泛化 (2个划分)

划分名称	描述
INOUT_OUTSIDER	所有模型从其响应框架采取局外人视角看待发帖者文化的帖子
GEN_GENERALIZING	导致所有模型对文化或社会群体产生泛化陈述的帖子

格莱斯准则违反 (4个划分)

划分名称	描述
MANNER_VIOLATES_MAXIMS	模型响应违反方式准则（清晰、简洁、有序）
QUALITY_VIOLATES_MAXIMS	模型响应违反质量准则（真实性、证据）
QUANTITY_VIOLATES_MAXIMS	模型响应违反数量准则（适当的信息量）
RELATION_VIOLATES_MAXIMS	模型响应违反关联准则（与所问问题的相关性）

字段说明

每条记录包含原始Reddit帖子及共识判断标签（每个被评估的LLM一个）：

字段	类型	描述
id	string	Reddit帖子ID
title	string	帖子标题
selftext	string	帖子正文
subreddit	string	帖子所属的子版块
category_19	string	来自19类分类体系的主题类别（如：教育与职业、情感与价值观、社会关系、艺术）
country_mapped	string	从子版块推断的国家（如：印度、美国）
Llama	string	Llama对该帖子的框架判断
Gemma	string	Gemma对该帖子的框架判断
Mistral	string	Mistral对该帖子的框架判断

由于仅包含共识数据点，所有三个判断列在每个划分内包含相同的值。

数据集加载示例

python from datasets import load_dataset

加载特定划分

ds = load_dataset("sidicity/cultural-response-framing", split="EMOTIONS_ANTHRO")

加载所有划分为DatasetDict

ds = load_dataset("sidicity/cultural-response-framing") print(ds)

引用信息

bibtex @article{TODO, title = {TODO}, author = {TODO}, year = {TODO} }

搜集汇总

数据集介绍

构建方式

该数据集源于对大型语言模型中文化偏见回应框架的深入探究，通过从特定国家和文化主题的Reddit子版块中采集帖子，并利用一套分析框架评估Llama、Gemma、Mistral三种模型生成的回应是否展现出拟人化、定位与泛化以及违反格莱斯会话准则四类框架行为。为确保数据可靠性，仅纳入所有模型判断一致的帖子，从而形成涵盖九个数据切片的共识性子集。

特点

数据集以共识性为基石，聚焦于模型回应中可能引发下游文化危害的框架行为，包括拟人化的情感、共情与验证表达，文化局外人立场或群体泛化陈述，以及对清晰性、真实性、信息量和相关性四类会话准则的违反。每个条目均保留原始帖子的元数据、国家与主题标签及三个模型的独立判断标签，为研究模型框架行为的文化敏感性提供了精准靶标。

使用方法

数据集可通过HuggingFace Datasets库便捷加载，支持按单一数据切片（如EMOTIONS_ANTHRO）或通过无参数调用一次性加载全部九个切片为DatasetDict对象。用户可利用各字段中的帖子内容、主题分类及模型判断标签，开展诸如文化框架行为的跨模型一致性分析、主题与国家维度下的框架倾向挖掘，或评估模型回应的文化安全性等下游研究任务。

背景与挑战

背景概述

随着大型语言模型在全球范围内的广泛应用，其生成内容中潜藏的文化偏见问题日益受到学术界与工业界的关注。为此，研究团队构建了“Cultural Response Framing”数据集，旨在系统性地评估多语言模型在面对不同文化语境时的回应框架差异。该数据集由Reddit中特定国家与文化子版块的帖文构成，涵盖了来自Llama、Gemma和Mistral三类模型的判决标签，重点关注拟人化、定位与泛化以及格莱斯会话准则违背四个维度。研究明确了模型在跨文化情境中可能引发的下游文化伤害，为优化模型的跨文化适应能力提供了重要的分析基础。自发布以来，该数据集已成为评估LLM文化偏见的关键基准，推动了相关领域对模型文化敏感性与安全性研究的深入探索。

当前挑战

该数据集所解决的领域核心挑战在于，大型语言模型在面对文化多样性显著的问题时，常表现出武断的刻板印象、不当的文化定位或过度拟人化，甚至违背基本的会话准则，从而导致潜在的文化冒犯或误解。构建过程中，研究者面临了多模态文化数据的稀疏性、不同语言模型对同一文化语境回应的不一致性，以及缺乏统一的文化偏见标注标准等困难。为确保数据可靠性，团队仅保留了三种模型判决完全一致的帖文，但这也极大地缩减了样本规模。此外，从Reddit社区提取的文化标签和主题分类依赖于手工推断与有限的地域映射，难以全面覆盖全球多元文化的细微差异，进一步增加了研究的不确定性与泛化难度。

常用场景

经典使用场景

该数据集最经典的使用场景在于对大型语言模型在跨文化对话中呈现的响应框架进行系统性分类与评估。通过分析Reddit平台上不同国家与文化子论坛的帖子，数据集聚焦于模型在生成回复时是否表现出拟人化情感、文化外部立场、群体概括性论断，以及违反格莱斯会话合作原则的行为。研究者可借助九个子数据集分别探索模型在情绪拟人化、共情表达、价值肯定、内外群体定位、刻板概括及信息质量等方面的潜在文化偏见，从而为理解语言模型在多元文化语境下的行为偏差提供结构性分析工具。

实际应用

在实践层面，该数据集可助力开发与改进面向全球用户的对话式AI产品，如智能客服、文化教育助手及跨语言社交推荐系统。通过分析模型在特定文化语境下产生拟人化共情、外部视角或笼统刻板印象的倾向，工程师可以针对性调优模型在涉及情感、身份认同及社会规范等敏感话题时的回应策略。此外，数据集为内容审核与风险防控团队提供了识别文化敏感对话触发点的参考依据，使AI系统能够更主动地避免因不当框架引发的误解或冒犯，从而提升用户的使用体验与信任度。

衍生相关工作

该数据集的发布激发了多项衍生研究方向，包括但不限于：基于数据集中格莱斯准则违反类别的细粒度分析，催生了面向多模态文化场景的会话质量评估框架；围绕拟人化与归因偏差的分裂数据，推动了针对模型定位偏好与心智化程度测量工具的构建；此外，“内外群体”视角标注启发了将社会认同理论引入大模型价值观对齐的研究路径。相关经典工作如文化适配的提示学习策略、基于会话准则的生成约束方法，以及跨文化对话中立场偏见的检测模型，均以此数据集作为基准进行验证与拓展。