Self-Stereo

Self-Stereo数据集是一个由Reddit上自我报告的刻板印象组成的英文数据集，包含710个独特的<类别,属性>对，共涉及211个独特的类别和543个独特的属性。数据集涵盖了国籍/出生地、性别、种族、年龄、职业、能力、星座等多个类别，其中最常被自我报告的刻板印象包括国籍/出生地、性别和种族。该数据集是一个完全生态的数据集（自我报告的刻板印象），并涵盖了其他数据集忽视的类别（如星座、能力等）。

Self-Stereo dataset is an English dataset composed of self-reported stereotypes sourced from Reddit. It contains 710 unique <category, attribute> pairs, involving 211 distinct categories and 543 unique attributes. The dataset covers multiple categories including nationality/place of birth, gender, race, age, occupation, personal ability, zodiac sign and others. The most frequently self-reported stereotypes are those related to nationality/place of birth, gender and race. This is a fully ecological dataset consisting of self-reported stereotypes, and it covers categories overlooked by other existing datasets, such as zodiac sign and personal ability.

搜集汇总

数据集介绍

构建方式

Self-Stereo数据集通过生态化方法构建，聚焦于自陈式刻板印象的收集。研究团队利用PRAW API从Reddit的r/AskReddit子论坛中爬取了867条顶级评论，这些评论遵循“我是[类别]且我[属性]”的模式，其中属性涵盖行为、生理或心理状态等维度。经过三名专业标注者对文本片段进行人工标注，识别出社会人口学类别与属性的关联，标注一致性达到Krippendorff's α=0.80。最终数据集包含710个独特的<类别,属性>对，涵盖国籍、性别、种族等八大类，并通过语义归一化和内容过滤确保数据的代表性与纯净度。

使用方法

该数据集主要作为评估语言模型生成文本中刻板印象的基准工具。研究者可通过对比人类撰写的Self-Stereo文本与模型生成内容，分析其在具体性、特异性及否定词使用等维度的差异，从而量化模型的语言偏见程度。具体操作中，需将数据集的<类别,属性>对作为输入，引导模型在默认、翻转及随机三种实验条件下生成文本，再运用词典驱动的指标计算抽象化水平，进而揭示模型是否无差别地使用高抽象语言传播刻板印象。

背景与挑战

背景概述

Self-Stereo数据集于2025年由阿姆斯特丹自由大学计算语言学与文本挖掘实验室的Pia Sommerauer、博洛尼亚大学的Giulia Rambelli及格罗宁根大学的Tommaso Caselli等研究人员联合创建。该数据集聚焦于大语言模型生成文本中的身份模拟与偏见传播问题，核心研究在于探讨角色提示策略如何影响模型对社会群体的刻板印象表达。通过收集Reddit平台上用户自我报告的刻板印象数据，该数据集为分析语言抽象度与偏见关联提供了实证基础，推动了自然语言处理领域对模型公平性与社会影响的深入探索。

当前挑战

Self-Stereo数据集旨在解决大语言模型生成文本中刻板印象的量化与检测挑战，涉及如何准确识别语言抽象度与偏见间的隐性关联。构建过程中的主要困难包括从非结构化社交媒体文本中提取高质量的社会人口类别与属性对，需克服数据噪声与语义归一化问题；同时，标注工作需确保跨类别一致性，并排除讽刺或仇恨内容，以维护数据的生态效度与伦理合规性。

常用场景

经典使用场景

在自然语言处理领域，Self-Stereo数据集主要应用于大语言模型偏见检测与评估研究。该数据集通过收集Reddit平台上自我报告的刻板印象实例，为分析语言模型生成文本中的社会群体表征提供了实证基础。研究者利用该数据集构建了包含710个独特社会人口类别与属性关联的语料库，覆盖国籍、性别、种族等八大社会维度，为量化分析语言模型在人物模拟任务中的刻板印象传播机制提供了关键数据支撑。

解决学术问题

该数据集有效解决了语言模型偏见研究中的生态效度难题，突破了传统封闭式任务评估的局限性。通过引入语言期望偏差理论框架，研究者能够系统测量生成文本的具体性、特异性和否定性三个抽象维度，从而揭示语言模型在描述社会群体时存在的隐性偏见模式。这项工作推动了计算语言学与社会心理学的跨学科融合，为建立更科学的语言模型伦理评估体系提供了方法论创新。

实际应用

在人工智能伦理治理实践中，Self-Stereo数据集被广泛应用于大语言模型的安全审计与偏见缓解。科技公司利用该数据集检测对话系统中潜在的刻板印象传播风险，教育机构将其纳入算法公平性课程的教学案例，政策制定者参考其分析框架建立人工智能伦理评估标准。该数据集还为人机交互系统的个性化设计提供了重要警示，提示开发者需审慎处理社会身份模拟的技术边界。

数据集最近研究

最新研究方向

在自然语言处理领域，Self-Stereo数据集的引入为研究大语言模型中的刻板印象传播提供了新的生态学视角。该数据集基于Reddit平台的自报刻板印象文本，覆盖国籍、性别、种族等多维社会类别，通过语言学期望偏差框架量化文本抽象度，揭示了角色提示方法在调节语言抽象性方面的局限性。前沿研究聚焦于探索角色提示是否加剧模型对边缘群体的隐性偏见，以及如何通过具体性、特异性和否定性指标评估生成文本的刻板化程度。这一方向关联人工智能伦理热点，强调模型在模拟社会身份时需避免强化有害泛化，对促进公平可信的AI系统发展具有深远意义。

相关研究论文

• 通过

  自由大学阿姆斯特丹计算语言学与文本挖掘实验室, 博洛尼亚大学, 格罗宁根大学计算语言学中心 · 2025年