EspanStereo
收藏资源简介：
EspanStereo是由佐治亚理工学院和达特茅斯学院的研究团队构建的首个针对西班牙语国家的刻板印象分析数据集。该数据集涵盖了西班牙、墨西哥、阿根廷、哥伦比亚和尼加拉瓜五个国家，通过人机协作框架收集，包含基于种族、宗教、性别、性取向和年龄等多维度的刻板印象陈述，旨在捕获英语中心资源中缺失的文化特异性偏见。数据集的创建过程首先利用大语言模型生成候选刻板印象，然后由目标文化背景的标注者进行验证和实例化，确保了内容的准确性和文化相关性。该数据集主要应用于评估和缓解大语言模型中的跨文化偏见，为解决现有研究局限于英语语境、缺乏多语言文化根基评估工具的难题提供了关键资源。
EspanStereo is the first stereotype analysis dataset focused on Spanish-speaking countries, constructed by research teams from the Georgia Institute of Technology and Dartmouth College. This dataset covers five countries including Spain, Mexico, Argentina, Colombia and Nicaragua, collected via a human-machine collaboration framework, and contains stereotype statements across multiple dimensions such as race, religion, gender, sexual orientation and age, aiming to capture culture-specific biases missing from English-centric resources. The dataset development process first generates candidate stereotypes using large language models (LLMs), then has annotators from the target cultural backgrounds validate and instantiate these candidates, ensuring the accuracy and cultural relevance of the content. This dataset is primarily applied to evaluate and mitigate cross-cultural biases in large language models, providing a critical resource to address the problem that existing research is limited to English contexts and lacks evaluation tools rooted in multilingual cultural foundations.
数据集名称
EspanStereo
数据集描述
EspanStereo是一个西班牙语数据集，用于评估语言模型中特定于文化的刻板印象。该数据集覆盖五个西班牙语国家：阿根廷、哥伦比亚、墨西哥、尼加拉瓜和西班牙。数据集包含 2,690个示例，源自 538个经过文化验证的刻板印象，并以五个Parquet文件形式分布，每个国家对应一个文件。
数据集创建
- 通过人类与大型语言模型协作的框架生成。候选刻板印象首先由大型语言模型针对每个国家生成，然后由精通西班牙语的本土文化标注者进行验证。
- 验证后的刻板印象由精通西班牙语的本土文化标注者以StereoSet句子间格式实例化。每个实例包含一个上下文句子、一个刻板延续和一个反刻板延续。评估遵循与StereoSet句子间数据集相同的协议。
数据集规模
| 国家 | 验证后的刻板印象数量 | 示例数量 |
|---|---|---|
| 阿根廷 | 95 | 475 |
| 哥伦比亚 | 98 | 490 |
| 墨西哥 | 142 | 710 |
| 尼加拉瓜 | 87 | 435 |
| 西班牙 | 116 | 580 |
| 总计 | 538 | 2,690 |
数据集结构
每个数据行包含一个上下文化的刻板印象实例，字段如下：
- Stereotype Category: 刻板印象针对的人口统计类别，包括种族、宗教、性别、性取向和年龄。
- Stereotype: 该实例旨在表达的高级刻板印象，描述上下文化句子所代表的基础刻板印象。
- Target Group: 刻板印象针对的特定人口群体。
- Context Sentence: 引入目标群体或为句子补全提供上下文的西班牙语句子。
- Stereotype Sentence: 在上下文句子提供的上下文中表达相应刻板印象的西班牙语延续。
- Counter-Stereotype Sentence: 在上下文句子提供的上下文中挑战或反驳相应刻板印象的西班牙语延续。
- Unrelated Sentence: StereoSet要求的无关句子，来自西班牙十亿词语料库（https://github.com/crscardellino/sbwce）。
预期用途
EspanStereo旨在用于以下研究：
- 评估西班牙语和多语言语言模型中的偏见。
- 比较不同西班牙语国家的模型行为。
- 衡量特定文化的社会偏见。
- 研究刻板印象表征中的跨文化差异。
- 开发和评估刻板印象缓解方法。
禁止以任何形式将数据用于任何训练阶段（如预训练、后训练、微调、适应等）。
局限性
- 该数据集并非任何国家或文化中刻板印象的详尽表示。
- 候选刻板印象的生成部分依赖于大型语言模型中的知识，可能低估新兴、高度本地化或记录较少的刻板印象。
- 数据集中的每个国家都包含显著的地区、文化、社会、政治、民族和代际多样性。某刻板印象被包含在数据集中并不表示在该国家内被普遍认可或接受。
- 包含某刻板印象仅表示通过研究的验证程序被识别为具有文化相关性，不代表其事实准确、普遍相信或得到作者或标注者的认可。
引用
使用EspanStereo时请引用以下论文： bibtex @inproceedings{ma-etal-2025-scalable, title = "Scalable and Culturally Specific Stereotype Dataset Construction via Human-{LLM} Collaboration", author = "Ma, Weicheng and Guerrerio, John J. and Vosoughi, Soroush", editor = "Christodoulopoulos, Christos and Chakraborty, Tanmoy and Rose, Carolyn and Peng, Violet", booktitle = "Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing", month = nov, year = "2025", address = "Suzhou, China", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2025.emnlp-main.1221/", doi = "10.18653/v1/2025.emnlp-main.1221", pages = "23928--23956", ISBN = "979-8-89176-332-6", note = "Weicheng Ma and John J. Guerrerio contributed equally." }
- 1Scalable and Culturally Specific Stereotype Dataset Construction via Human-LLM Collaboration佐治亚理工学院·计算学院; 达特茅斯学院·计算机科学系 · 2026年
