m-a-p/GIEBench

GIE-Bench数据集是一个综合性的基准测试，包含11个身份维度，覆盖97个群体身份，总共有999个与特定群体身份相关的单选题。该数据集旨在评估大型语言模型（LLMs）在面对特定群体身份（如性别、年龄、职业和种族）时的共情能力，强调其从特定群体立场回应的能力。数据集通过使用网络资源、手动选择和GPT-4生成有争议的话题，并从这些身份的视角标注态度标签。此外，还使用GPT-4为每个话题生成四个回答，确保只有一个回答符合身份的立场。最后，设计了三种类型的提示（COT-Prompt、ID-Prompt和Raw-Prompt）来测试LLMs选择最合适回答的能力。

GIE-Bench is a comprehensive benchmark that includes 11 identity dimensions, covering 97 group identities with a total of 999 single-choice questions related to specific group identities. The dataset is designed to evaluate the empathy of large language models (LLMs) when presented with specific group identities such as gender, age, occupation, and race, emphasizing their ability to respond from the standpoint of the identified group. The dataset is developed using web resources, manual selection, and GPT-4 to generate controversial topics, each corresponding to a specific identity, and annotates attitude labels from the perspectives of these identities. Additionally, GPT-4 is used to generate four responses for each topic, ensuring that only one response aligns with the identitys stance. Finally, three types of prompts (COT-Prompt, ID-Prompt, and Raw-Prompt) are designed to test LLMs ability to select the most appropriate response.

原始信息汇总

数据集概述

数据集名称

• GIE-Bench

数据集描述

• GIEBench 是一个综合基准测试，包含 11 个身份维度，涵盖 97 个群体身份，共有 999 道单选题，涉及特定群体身份，如性别、年龄、职业和种族。该基准旨在评估大型语言模型（LLMs）在面对特定群体身份时的同理心，强调其从所识别群体的立场出发进行回应的能力。

数据集构建过程

1. 话题开发：通过网络资源、人工筛选和 GPT-4 开发一系列争议话题，每个话题对应一个特定身份。
2. 态度标签标注：从这些身份的角度对话题进行态度标签标注。
3. 生成回应：利用 GPT-4 为每个话题生成四个回应，确保只有一个回应符合该身份的立场。
4. 设计提示类型：使用建立的身份、话题和回应，设计三种类型的提示供 LLMs 选择最合适的回应：
   • COT-Prompt：提供思维链（Chain of Thought, COT）和身份信息。
   • ID-Prompt：仅披露身份信息。
   • Raw-Prompt：不提供额外信息。

分析方法

• 理解身份立场：通过比较 CoT-Prompt 和 Raw-Prompt 之间的准确性差异，分析 LLMs 对给定身份立场的理解程度。
• 同理心分析：通过比较 ID-Prompt 和 Raw-Prompt 之间的准确性差异，分析 LLMs 对给定身份立场的同理心。

研究结果

• 尽管某些 LLMs 能够大致理解用户的身份立场，但在未明确指示考虑用户视角的情况下，它们不会自发地表现出同理心。这凸显了当前对齐技术的不足。