felfri/MAGBIG

MAGBIG基准测试是一个用于多语言文本到图像生成模型的评估工具。它通过生成十种不同语言的图像来评估跨语言的差异，旨在揭示和评估跨语言的偏见，如性别、种族、年龄等。数据集包含四种类型的提示文件：形容词提示、直接职业提示、直接女性职业提示、德语性别星职业提示和间接职业提示。这些提示文件用于生成图像，并帮助评估模型在不同语言中的表现。

原始信息汇总

MAGBIG 基准测试

概述

MAGBIG 基准测试是为多语言文本到图像模型设计的，旨在生成和评估多种语言下的图像。该基准测试可以帮助发现和评估语言间的偏见，如性别、种族、年龄等，并测量这些偏见是否在不同语言中一致。此外，MAGBIG 还可用于评估多语言文本到图像模型在不同语言中的通用能力，如图像质量、多样性等。

数据集内容

数据集包含四组提示，涵盖英语、德语、阿拉伯语、法语、意大利语、西班牙语、俄语、韩语、日语和中文：

1. 形容词提示 (adjectives.csv)，使用标准语言。
2. 直接职业提示 (occupations_direct.csv)，使用标准语言。
3. 直接女性职业提示 (occupations_direct_feminine.csv)，使用标准语言中的女性名词版本（如果可用）。
4. 德语性别星号职业提示 (occupations_german_gender_star.csv)，使用德语中的性别中性星号约定。
5. 间接职业提示 (occupations_indirect.csv)，使用性别中性描述。

引用

如果您喜欢或使用了我们的工作，请考虑引用我们：

@misc{friedrich2024multilingual, title={Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You}, author={Felix Friedrich and Katharina Hämmerl and Patrick Schramowski and Jindrich Libovicky and Kristian Kersting and Alexander Fraser}, year={2024}, eprint={2401.16092}, archivePrefix={arXiv}, primaryClass={cs.CL} }