StereoSet

StereoSet 是一个数据集，用于测量语言模型中的刻板印象偏见。StereoSet 包含 17,000 个句子，用于测量跨性别、种族、宗教和职业的模型偏好。StereoSet 测量模型中的种族主义、性别歧视和其他歧视性行为，同时还确保基础语言模型表现依然强劲。为了在 StereoSet 中表现出色，研究人员必须创建一个公平公正的语言模型，同时还要对自然语言有深刻的理解。

搜集汇总

背景与挑战

背景概述

StereoSet是一个用于评估语言模型中刻板印象偏见的数据集，包含17,000个句子，涵盖性别、种族、宗教和职业等多个维度。它旨在检测模型中的种族主义、性别歧视等歧视性倾向，同时要求模型保持强大的自然语言理解能力。