HRS-Bench

HRS-Bench是一个全面、可靠且可扩展的文本到图像模型评估基准，由阿卜杜拉国王科技大学创建。该数据集包含45000个样本，涵盖13种技能，如准确性、鲁棒性、泛化性、公平性和偏见等，并涉及50种不同的应用场景，如时尚、动物、交通和食品等。HRS-Bench旨在通过广泛的技能和场景评估，提供对文本到图像模型性能的全面理解，并帮助推动该领域的研究进展。HRS-Bench is a comprehensive, reliable, and scalable text-to-image model evaluation benchmark created by King Abdullah University of Science and Technology. This dataset contains 45,000 samples, covering 13 evaluation skills including accuracy, robustness, generalization, fairness, bias, and others, and involves 50 distinct application scenarios such as fashion, animals, transportation, food, and more. HRS-Bench aims to provide a comprehensive understanding of text-to-image model performance through extensive evaluations across diverse skills and scenarios, and help advance research in this field.

搜集汇总

背景与挑战

背景概述

HRS-Bench是一个用于评估文本到图像模型的全面、可靠且可扩展的基准测试数据集。它通过13个技能指标评估五个关键方面：准确性、鲁棒性、泛化性、公平性和偏见，覆盖50个应用场景（如时尚、动物、交通），并标准化评估了9个主流模型（如DALL.E V2、Stable-Diffusion V1）。该数据集旨在提供统一的评估框架，以促进模型性能的全面比较和分析。