PAPERSPLEASE

PAPERSPLEASE数据集是一个包含3700个道德困境的基准数据集，旨在研究大型语言模型在优先考虑不同层次的人类需求时的决策制定。数据集的每个条目都是一个简短的故事，描述了一个寻求进入的人的情况，这些故事是使用存在、关系和成长（ERG）理论构建的，该理论将人类需求分为三个层次。数据集还包括关于个人社会身份的线索，如种族、性别和宗教，以评估模型在社会身份线索影响下的决策。该数据集可用于评估大型语言模型在道德和社会敏感情境下的决策制定和潜在的社会偏见。

The PAPERSPECIAL dataset is a benchmark collection of 3700 moral dilemmas, developed to study the decision-making behavior of large language models (LLMs) when prioritizing human needs at different hierarchical levels. Each entry in the dataset consists of a short narrative describing the circumstances of an individual seeking entry, which is constructed based on the Existence, Relatedness, and Growth (ERG) theory that categorizes human needs into three tiers. The dataset also incorporates cues related to an individual's social identities including race, gender, and religion, to evaluate the model's decision-making under the influence of such social identity cues. This dataset can be utilized to assess the decision-making capabilities and potential social biases of large language models in moral and socially sensitive scenarios.

搜集汇总

数据集介绍

构建方式

PAPERSPLEASE数据集的构建基于角色扮演情境，灵感来源于游戏《Papers, Please》。研究团队采用ERG理论（Existence, Relatedness, Growth）作为框架，手工创建了初始样本后，通过GPT-4o-mini进行少样本提示扩展，最终形成包含3700个移民审查场景的基准测试。每个场景都包含基于ERG理论分类的动机叙事，并系统性地嵌入了性别、种族和宗教等社会身份维度，以确保对大型语言模型决策模式的多角度评估。所有生成场景均经过人工审核以保证理论一致性和叙事质量。

使用方法

使用该数据集时可采用三种递进式评估方案：个体案例测试直接测量模型对单一叙事的审批倾向；对比案例测试要求模型在三种动机类型间进行优先级排序；社会维度测试则重点分析身份标签对决策的影响。评估过程需严格遵循给定的提示词模板，保持温度参数为零以确保结果可重复性。输出结果采用标准化JSON格式记录审批决定及其理由，便于进行卡方检验等统计分析。该数据集特别适用于检测语言模型在道德困境中的价值排序规律，以及社会身份因素如何干扰其伦理判断。

背景与挑战

背景概述

PAPERSPLEASE是由KAIST研究团队于2025年提出的创新型基准数据集，旨在基于Alderfer的ERG理论评估大语言模型对人类动机价值的编码能力。该数据集包含3,700个道德困境场景，模拟了移民审查官在虚构国家Arstotzka的决策过程。通过将人类需求分为生存需求（Existence）、关系需求（Relatedness）和成长需求（Growth）三个层级，该数据集为研究LLMs在价值敏感场景中的决策模式提供了结构化框架。其创新性在于首次将心理学动机理论与AI伦理评估相结合，并通过引入种族、性别等社会身份维度，揭示了LLMs在道德推理过程中潜在的偏见模式。

当前挑战

该数据集面临双重挑战：在领域问题层面，需解决LLMs在道德困境中价值排序与人类期望不一致的问题，特别是当模型在生存需求与成长需求间出现非常规优先级时；在构建层面，需要平衡场景设计的标准化与真实性，既要确保每个叙事严格符合ERG理论分类，又要保持移民审查场景的叙事张力。此外，社会身份因素的引入使得模型可能产生系统性偏见，如对穆斯林和黑人身份申请者的拒绝率异常升高，这对数据集的公平性验证提出了更高要求。

常用场景

经典使用场景

PAPERSPLEASE数据集通过模拟移民审查场景，为大型语言模型（LLMs）的道德决策评估提供了标准化测试环境。基于ERG理论构建的3,700个道德困境场景，使研究者能够系统分析模型在存在性、关联性和成长性需求间的优先级选择。该数据集尤其适用于揭示模型在角色扮演情境中表现出的价值取向偏差，例如在国家安全与个人生存权冲突时的决策模式。其经典性体现在将游戏《请出示文件》的高压审查机制转化为可量化的实验框架，为AI伦理研究提供了新颖的评估维度。

解决学术问题

该数据集有效解决了LLMs价值对齐评估缺乏结构化框架的学术难题。通过ERG理论的三层次需求分类，研究者首次能够定量分析模型对人类动机价值的编码质量，例如发现GPT-4o-mini对生存需求的高接受率与人类预期相符，而Llama系列模型则表现出更分散的价值偏好。同时，数据集嵌入的社会身份维度（种族/性别/宗教）为检测模型决策中的隐性偏见提供了实证基础，如某些模型对穆斯林身份申请者呈现系统性低通过率，这为改进算法公平性指明了方向。

实际应用

在AI伦理审查的实际应用中，PAPERSPLEASE可作为政府或企业评估决策型AI系统合规性的工具。移民管理部门可通过该框架测试自动化审批系统的价值偏差，技术公司则能借此优化客服AI在敏感场景（如贷款审批）中的伦理表现。数据集设计的身份标签组合机制，特别适用于检测多维度交叉歧视，例如同时分析性别与宗教因素如何影响AI对难民申请的判定，这对完善《人工智能伦理指南》中的偏见检测条款具有直接参考价值。

数据集最近研究

最新研究方向

近年来，PAPERSPLEASE数据集在大型语言模型（LLMs）的道德决策和动机价值评估领域引起了广泛关注。基于ERG理论（存在、关联和成长需求），该数据集通过模拟移民审查场景，深入探讨了LLMs在道德困境中的决策模式。前沿研究主要集中在三个方面：首先，分析LLMs在不同层次人类需求中的优先选择，揭示其隐含的价值偏好；其次，探讨社会身份（如性别、种族和宗教）对LLMs决策的影响，以评估模型的社会公平性；最后，通过比较不同LLMs的表现，研究其在复杂道德场景中的一致性和偏差。这些研究不仅推动了LLMs道德对齐技术的发展，也为构建更具社会责任感的AI系统提供了重要参考。

相关研究论文

• PapersPlease: A Benchmark for Evaluating Motivational Values of Large Language Models Based on ERG Theory

  韩国科学技术院 · 2025年