HONEST (Hurtful Sentence Completion in English Language Models)

大型语言模型 (LLM) 彻底改变了 NLP 领域。然而，法学硕士捕捉并传播有害的刻板印象，尤其是在文本生成方面。我们提出了 HONEST，这是一个衡量语言模型中有害句子完成的分数。它使用系统的基于模板和词典的偏见评估方法，以六种语言（英语、意大利语、法语、葡萄牙语、罗马尼亚语和西班牙语）用于二元性别，并使用英语用于 LGBTQAI+ 个体。