StereoSet

StereoSet 是一个数据集，用于测量语言模型中的刻板印象偏见。StereoSet 包含 17,000 个句子，用于测量跨性别、种族、宗教和职业的模型偏好。StereoSet 测量模型中的种族主义、性别歧视和其他歧视性行为，同时还确保基础语言模型表现依然强劲。为了在 StereoSet 中表现出色，研究人员必须创建一个公平公正的语言模型，同时还要对自然语言有深刻的理解。