hoshoic/daily_dilemmas

DailyDilemmas是一个包含1,360个日常生活中遇到的道德困境的数据集。每个困境包括两个可能的行动，以及每个行动涉及的受影响方和引发的人类价值观。我们评估了大型语言模型（LLMs）在这些困境中的行为，以确定它们将采取的行动以及这些行动所代表的价值。数据集包含四个主要文件：1）Dilemmas_with_values_aggregated：每个行动的价值汇总；2）action_to_party_to_value.csv：每个行动的受影响方与价值之间的映射；3）principle_openai_modelspec_with_system_prompt.csv：OpenAI的ModelSpec及其与困境中的价值冲突的映射；4）values.csv：从50,000个困境中提取的常见价值，并根据五种理论进行分类。DailyDilemmas is a dataset of 1,360 moral dilemmas encountered in everyday life. Each dilemma includes two possible actions and with each action, the affected parties and human values invoked. We evaluated LLMs on these dilemmas to determine what action they will take and the values represented by these actions. The dataset includes four main files: 1) Dilemmas_with_values_aggregated: values aggregated per action; 2) action_to_party_to_value.csv: map between party and value per action; 3) principle_openai_modelspec_with_system_prompt.csv: Model Spec from OpenAI and the value conflicts per principle mapped with our dilemmas; 4) values.csv: common occurred values from 50,000 dilemmas, classified by five theories.

搜集汇总

数据集介绍

构建方式

DailyDilemmas数据集由1,360个源于日常生活的道德困境构成，每个困境均配有两个备选行动方案，并详细标注了每个行动所影响的利益相关方及其触发的核心人类价值观。数据集的构建基于对50,000个道德困境的初步筛选与归纳，最终提炼出高频出现的价值观体系，并进一步依据社会学、心理学与哲学领域的五种经典理论——世界价值观调查、道德基础理论、马斯洛需求层次、亚里士多德德性论及普拉奇克情绪轮——对价值观进行系统分类与映射。此外，数据集整合了OpenAI的Model Spec指南与Anthropic的Constitutional AI原则，将每条原则与具体困境中的价值冲突进行关联，形成多层次的结构化数据。

特点

该数据集的核心特色在于其聚焦于日常生活中细微而真实的道德两难情境，而非抽象或极端的哲学假设，从而更贴近人类实际决策环境。每个困境不仅提供行动选项，还明确标注了受影响方与所涉价值观，使得价值偏好的分析具有高度的可解释性。通过对多种大语言模型（如GPT-4-turbo、Mixtral-8x7B）的评估，数据集揭示了模型间在核心价值（如诚实性）上的显著偏好差异，例如Mixtral-8x7B倾向于忽略诚实价值达9.7%，而GPT-4-turbo则倾向于选择该价值达9.4%。同时，研究发现终端用户难以通过系统提示有效引导模型的价值优先级，突显了当前对齐技术的局限性。

使用方法

用户可通过HuggingFace的datasets库便捷加载DailyDilemmas的四个子集：Dilemmas_with_values_aggregated包含困境与各行动聚合后的价值观数据；Action_to_party_to_value提供行动、利益相关方与价值观的映射关系；OpenAI_modelspec_with_system_prompts整合了模型规范与原则层面的价值冲突分析；Values则收录了高频价值观及其理论分类。加载时需指定相应的配置名称，例如使用load_dataset('kellycyy/DailyDilemmas', 'Dilemmas_with_values_aggregated')即可获取主数据集。这些数据适用于研究大语言模型在道德推理中的价值偏好、对齐策略有效性评估，以及跨模型价值观比较分析等场景。

背景与挑战

背景概述

在大型语言模型（LLMs）日益融入日常决策的背景下，理解其内隐的价值偏好成为伦理人工智能研究的核心议题。由华盛顿大学Kelly Chiu、Liwei Jiang与Yejin Choi于2024年创建的DailyDilemmas数据集，旨在系统性地揭示LLMs在面对日常生活道德困境时的价值取向。该数据集包含1,360个精心设计的道德两难场景，每个场景提供两个可能行动，并标注了各行动所影响的利益相关方及所涉及的人类价值。通过整合世界价值观调查、道德基础理论等五大社会科学框架，研究者对GPT-4、Mixtral等主流模型进行了深度分析，发现模型在真实性等核心价值上存在显著偏好差异，例如Mixtral-8x7B倾向于忽视真实性达9.7%，而GPT-4-turbo则倾向于选择该价值达9.4%。该研究不仅为评估LLMs的伦理一致性提供了标准化基准，也推动了AI对齐研究从抽象原则向具体生活情境的深化。

当前挑战

DailyDilemmas数据集所应对的核心挑战在于，现有AI伦理评估多依赖抽象原则或极端假设场景，缺乏对日常道德推理复杂性的捕捉。具体而言，日常生活中的道德困境往往涉及多价值冲突与动态利益权衡，而LLMs在这些情境下的价值优先级排序尚不明确。构建过程中，研究者面临双重挑战：一是如何从海量真实生活矛盾中提炼出兼具代表性与文化敏感性的道德两难场景，确保覆盖不同社会背景下的价值冲突；二是如何将社会科学理论（如马斯洛需求层次、亚里士多德美德伦理）的操作化定义与模型输出的离散行动选择进行有效映射，避免理论框架的机械套用。此外，实验发现用户无法通过系统提示有效调控模型的价值优先级，这暴露了当前对齐技术在日常情境下的局限性，亟需更精细的干预机制来应对模型价值偏好的隐性固化问题。

常用场景

经典使用场景

在日常伦理困境的复杂交织中，DailyDilemmas数据集为探究大语言模型的道德推理能力提供了独特的实验场域。该数据集包含1,360个源自真实生活场景的道德两难问题，每个困境都精心设计了两种可能行动选项，并标注了每项行动所涉及的利益相关方及其触发的核心人类价值观。研究者可借助此数据集系统性地评估LLM在面临具体生活情境时的行为选择倾向，进而揭示模型内在的价值偏好与道德优先级排序。这一经典使用范式不仅为计算伦理学提供了量化分析工具，更架起了抽象道德理论与具象生活决策之间的桥梁。

解决学术问题

该数据集直面学术界在评估LLM价值对齐时的关键难题：如何超越抽象原则测试，在贴近现实的语境中捕捉模型的价值偏好。通过融合世界价值观调查、道德基础理论、马斯洛需求层次、亚里士多德美德伦理及普拉奇克情绪轮盘五大理论框架，DailyDilemmas系统揭示了不同LLM在诚实、关怀、忠诚等核心价值观上的显著差异——例如Mixtral-8x7B模型对诚实价值的忽视程度高达9.7%，而GPT-4-turbo则倾向于选择9.4%。这一发现对现有价值对齐研究提出了严峻挑战，表明即使在OpenAI模型规范与Anthropic宪法式AI等明确指引下，终端用户仍难以通过系统提示有效操控模型的价值优先级排序。

衍生相关工作

DailyDilemmas数据集催生了一系列富有影响力的衍生研究。其核心论文《DailyDilemmas: Revealing Value Preferences of LLMs with Quandaries of Daily Life》被广泛引用，为后续探索LLM价值对齐的文化差异、模型规模与道德一致性关系等课题奠定了方法论基础。研究者在此基础上开发了细粒度的价值偏好分析框架，将模型选择与五大理论体系的价值观维度进行映射，形成了可复现的评估流程。该数据集还启发了针对特定领域（如医疗伦理、商业决策）的道德困境数据集构建工作，推动了跨学科的价值对齐研究，使得计算伦理学从理论探讨迈向实证分析的新阶段。