HONEST (Hurtful Sentence Completion in English Language Models)

大型语言模型 (LLM) 彻底改变了 NLP 领域。然而，法学硕士捕捉并传播有害的刻板印象，尤其是在文本生成方面。我们提出了 HONEST，这是一个衡量语言模型中有害句子完成的分数。它使用系统的基于模板和词典的偏见评估方法，以六种语言（英语、意大利语、法语、葡萄牙语、罗马尼亚语和西班牙语）用于二元性别，并使用英语用于 LGBTQAI+ 个体。

Large Language Models (LLMs) have revolutionized the field of Natural Language Processing (NLP). However, large language models (LLMs) capture and perpetuate harmful stereotypes, particularly in text generation. We introduce HONEST, a metric for measuring harmful sentence completions in language models. It uses a systematic template- and dictionary-based bias evaluation approach, supporting binary gender assessment across six languages: English, Italian, French, Portuguese, Romanian, and Spanish, and employs English for the evaluation of LGBTQAI+ individuals.

搜集汇总

背景与挑战

背景概述

HONEST数据集用于评估语言模型在文本生成中传播有害刻板印象的问题，通过基于模板和词典的系统方法，覆盖六种语言的二元性别和英语的LGBTQAI+个体。该数据集旨在提供一种衡量有害句子完成的分数，以促进语言模型的公平性改进。