ROLECONFLICTBENCH

ROLECONFLICTBENCH是一个评估大型语言模型（LLMs）在复杂社会困境中情境敏感性的基准数据集。该数据集由韩国高等科学技术研究院和卡内基梅隆大学的研究人员创建，包含超过13,914个基于故事的真实角色冲突场景，涵盖了65个不同的社会角色。数据集通过三个阶段的过程生成，包括期望生成、情境实例化和故事合成。这些场景旨在评估LLMs在处理角色冲突时的决策能力，并揭示了模型在角色和属性方面的内在偏差。该数据集对于确保LLMs在实际应用中公平地辅助决策具有重要意义。

ROLECONFLICTBENCH is a benchmark dataset for evaluating the situational sensitivity of large language models (LLMs) in complex social dilemmas. It was created by researchers from the Korea Advanced Institute of Science and Technology and Carnegie Mellon University, and contains over 13,914 story-based real-world role conflict scenarios spanning 65 distinct social roles. The dataset is generated via a three-stage pipeline that includes expectation generation, scenario instantiation, and story synthesis. These scenarios are designed to assess LLMs' decision-making capabilities when handling role conflicts, and reveal the inherent biases of the models regarding roles and attributes. This dataset holds critical importance for ensuring that LLMs can fairly assist with decision-making in real-world practical applications.

搜集汇总

数据集介绍

构建方式

ROLECONFLICTBENCH采用三阶段结构化流程构建，首先通过精心设计的提示生成65种社会角色的期望描述，确保每个角色涵盖真实世界中的责任与义务；随后为每个期望实例化三种不同紧急程度的情境，系统化地覆盖从日常事务到紧急需求的连续谱；最终将两个角色的期望与情境融合成第一人称叙事，通过九种紧急程度组合生成超过1.3万条角色冲突场景，所有生成内容均经过人工审核以保证情境合理性与语义中立性。

特点

该数据集通过精细控制情境紧急度与角色期望的交互，构建出具有高度现实复杂性的社会困境场景。其核心特征体现在系统化覆盖家庭、职业、社会、人际关系与宗教五大领域，每个场景均呈现无预设标准答案的伦理两难问题。数据集特别强调情境敏感性的测量，通过量化模型对紧急度变化的响应程度，揭示大语言模型在复杂社会语境中的决策模式与潜在偏差。

使用方法

研究者可通过标准化查询接口向评估模型呈现冲突场景，要求其在两个竞争角色中做出优先选择并提供决策依据。通过分析模型在对称与非对称紧急度情境下的选择模式，可计算其情境敏感性分数与角色优先指数。该基准支持跨模型比较研究，特别适用于探测模型在社会属性、文化背景等因素影响下的决策偏差，为开发具有社会认知能力的AI系统提供诊断工具。

背景与挑战

背景概述

随着大语言模型在人类决策支持系统中的广泛应用，理解其在复杂社会情境中的行为模式成为关键研究课题。ROLECONFLICTBENCH由韩国科学技术院与卡内基梅隆大学联合研发，于2025年提出并收录于ICLR 2026会议论文。该数据集聚焦社会角色冲突这一核心问题，通过系统化构建13,914个涵盖65种社会角色的冲突场景，旨在评估大语言模型对情境敏感性的认知能力。其创新性在于突破传统评估框架中预设标准答案的局限，通过三阶段生成流程模拟真实世界中角色期望与情境紧迫性的动态交互，为人工智能社会推理能力的研究提供了重要基准。

当前挑战

该数据集面临双重挑战：在领域问题层面，角色冲突本身具有高度模糊性，缺乏绝对正确的解决方案，需要模型具备权衡多重社会因素的能力，而现有模型表现出对家庭和职业领域的固有偏好，且存在明显的性别与宗教偏见；在构建过程中，如何确保生成场景的真实性与多样性构成主要难点，研究团队通过人工审核机制验证每个角色期望的合理性，并采用 urgency 评分系统量化情境紧迫度，但模型决策仍主要受内在角色偏好主导而非情境信息，反映出当前大语言模型在复杂社会推理中的根本性局限。

常用场景

经典使用场景

在自然语言处理领域，ROLECONFLICTBENCH作为评估大语言模型情境敏感性的专业基准，通过构建13,914个角色冲突场景，系统检验模型在复杂社会困境中的决策能力。该数据集采用三阶段生成流程，涵盖65种社会角色和9种紧急程度组合，为研究者提供了标准化的测试环境。其经典应用体现在通过控制变量设计，精确测量模型对情境紧急程度与社会期望的响应模式，成为评估人工智能社会推理能力的重要工具。

衍生相关工作

该数据集催生了多个重要研究方向，包括基于布拉德利-特里模型的角色优先级量化分析框架，以及情境敏感性指标的创新定义。后续研究在此基础上发展了更精细的社会偏见检测方法，特别是对模型在性别、宗教和社会经济地位等维度的系统性偏好测量。这些衍生工作共同构成了评估大语言模型社会认知能力的方法体系，为AI对齐研究提供了可扩展的实验范式和技术路径。

数据集最近研究

最新研究方向

随着大语言模型在个性化决策支持系统中的广泛应用，ROLECONFLICTBENCH揭示了当前模型在复杂社会情境理解上的显著局限。该数据集通过构建13,914个涵盖65种社会角色的冲突场景，系统评估模型对情境紧急度的敏感度。前沿研究发现，尽管模型展现出对情境线索的基本响应能力，但其决策主要受固有社会角色偏见主导，表现为对家庭与职业领域角色的系统性偏好，以及男性角色与亚伯拉罕宗教的优先选择。这一发现对AI伦理对齐提出重要警示，表明当前模型在真实社会困境中仍缺乏动态权衡多元价值的能力，亟需开发能更好理解情境复杂性的下一代社会智能体。

相关研究论文

• 通过

  韩国高等科学技术研究院（KAIST）, 卡内基梅隆大学（CMU） · 2025年