morebench

MoReBench是一个评估语言模型在程序性和多元性道德推理方面的数据集，包含AI道德顾问或AI自主行动者面临的两难困境和专家编写的评价标准。这些困境来源于日常生活、AI风险等多个领域，并按照不同的情境类型进行分类。数据集还根据五种道德框架提供了专家评价标准。MoReBench is a dataset for evaluating language models’ performance on procedural and pluralistic moral reasoning. It encompasses moral dilemmas confronting AI moral advisors or AI autonomous agents, along with expert-developed evaluation criteria. These dilemmas are sourced from diverse domains including daily life and AI risk scenarios, and are categorized by different scenario types. The dataset additionally provides expert evaluation criteria grounded in five distinct moral frameworks.

原始信息汇总

MoReBench 数据集概述

数据集基本信息

• 许可证：CC-BY-4.0
• 数据集名称：MoReBench
• 规模：1K<n<10K
• 配置：
  • morebench（默认配置）
  • morebench_theory

数据集描述

MoReBench是一个包含1000个道德困境的数据集，涉及AI道德顾问帮助人类用户决策或AI智能体自主行动的场景。每个案例包含一个困境情境和一系列情境化、专家编写的评估标准。

数据结构

主要字段

• DILEMMA：描述涉及两个行动选择的困境场景

• DILEMMA_SOURCE：困境来源，包括：

  • daily_dilemmas
  • ai_risk_dilemmas
  • expert_written_ethic_bowl
  • expert_written_ethic_unwrapped
  • expert_written_literature
  • expert_written_collab

• DILEMMA_TYPE：困境类型，包括：

  • short_case
  • long_case
  • expert_case

• THEORY：理论框架（morebench配置中为"neutral"）

• RUBRIC：专家编写的评估标准字典，包含：

  • rubric_dimension：五个评估维度
    • Identifying：识别困境中的道德考量
    • Logical Process：逻辑过程
    • Clear Process：清晰过程
    • Helpful Outcome：有益结果
    • Harmless Outcome：无害结果
  • title：情境化评估标准
  • weight：重要性权重（-3到3，不含0）

• ROLE_DOMAIN：AI角色领域，包括：

  • moral_advisor：道德顾问
  • moral_agent：道德智能体

• CONTEXT：困境背景设置，涵盖多个领域

理论框架扩展

morebench_theory配置在五个规范伦理学框架下收集专家编写的评估标准：

• Kantian Deontology
• Act Utilitarianism
• Aristotelian Virtue Ethics
• Scanlonian Contractualism
• Gautheierian Contractarianism

数据加载

python from datasets import load_dataset

morebench = load_dataset("kellycyy/AIRiskDilemmas", "morebench.csv")["test"] morebench_theory = load_dataset("kellycyy/AIRiskDilemmas", "morebench_theory.csv")["test"]

引用信息

bibtex @misc{chiu2025morebenchevaluatingproceduralpluralistic, title={MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes}, author={Yu Ying Chiu and Michael S. Lee and Rachel Calcott and Brandon Handoko and Paul de Font-Reaulx and Paula Rodriguez and Chen Bo Calvin Zhang and Ziwen Han and Udari Madhushani Sehwag and Yash Maurya and Christina Q Knight and Harry R. Lloyd and Florence Bacus and Mantas Mazeika and Bing Liu and Yejin Choi and Mitchell L Gordon and Sydney Levine}, year={2025}, eprint={2510.16380}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2510.16380}, }

联系方式

• 联系人：Kelly Chiu
• 邮箱：[e-mail]

搜集汇总

数据集介绍

构建方式

在道德推理研究领域，MoReBench数据集通过精心设计的多元采集策略构建而成。该数据集整合了来自DailyDilemmas和AIRiskDilemmas等权威道德困境数据库的原始案例，同时融入了伦理学专家基于现实世界丰富情境撰写的专业案例。每个道德困境都配备了由领域专家精心设计的评估维度，涵盖道德考量识别、逻辑过程、清晰度以及结果效用等五个核心方面，并通过权重赋值系统体现不同维度的相对重要性。

特点

该数据集展现出显著的多维度特征，不仅覆盖了人工智能作为道德顾问和自主智能体两种不同角色的应用场景，还囊括了从动物与环境到科学技术等二十余个具体情境领域。特别值得关注的是，数据集提供了理论中立和基于五种规范伦理学理论的双重评估框架，包括康德义务论、边沁功利主义等主流伦理学派。每个案例都配备了情境化的专家评分标准，权重范围从-3到3精确量化道德考量，为深入研究语言模型的程序性道德推理能力提供了丰富素材。

使用方法

研究人员可通过HuggingFace数据集库便捷地加载MoReBench资源，分别使用morebench.csv获取理论中立版本，或通过morebench_theory.csv访问基于规范伦理学理论的扩展版本。数据集采用标准化的JSON格式存储，每个条目包含完整的道德困境描述、来源标注、角色领域定义和专家评分细则。这种结构化设计使得研究者能够灵活地针对特定伦理维度、应用场景或理论框架进行分析，为评估语言模型在复杂道德情境中的推理过程提供系统化工具。

背景与挑战

背景概述

MoReBench数据集于2025年由华盛顿大学等研究机构联合发布，聚焦于人工智能伦理推理领域的前沿探索。该数据集通过整合DailyDilemmas、AIRiskDilemmas及专家撰写的伦理困境案例，构建了包含千余个道德困境场景的评估基准。其核心研究目标在于系统评估语言模型在程序性道德推理方面的能力，特别关注模型识别伦理维度、逻辑推演过程及结果评估等关键环节，为人工智能伦理决策系统的开发提供了重要理论基础。

当前挑战

在解决领域问题层面，该数据集需应对道德推理的多维性挑战，包括如何准确定义推理过程的评估维度，以及平衡不同伦理理论框架下的价值冲突。构建过程中面临专家知识整合的复杂性，需要协调来自伦理学、人工智能等跨学科专家的标注标准，同时确保涵盖日常生活、组织决策等多元场景的道德困境，保持案例的代表性和理论中立性。

常用场景

经典使用场景

在人工智能伦理评估领域，MoReBench数据集通过包含1000个涉及道德困境的多样化场景，为评估语言模型的程序性道德推理能力提供了标准化测试平台。这些场景覆盖从日常伦理冲突到高风险自主决策的广泛情境，每个案例均配备专家撰写的多维度评估准则，使研究者能够系统分析模型在识别道德因素、逻辑推理过程及结果影响等方面的综合表现。

解决学术问题

该数据集有效解决了人工智能伦理研究中程序性道德推理评估标准缺失的核心问题。通过构建包含五个评估维度的理论中立框架——包括道德因素识别、逻辑过程清晰度及结果影响等，研究者得以超越传统的结果导向评估，深入探究语言模型在复杂道德决策中的推理质量与一致性，为构建可信人工智能系统提供了关键方法论支撑。

衍生相关工作

基于该数据集衍生的经典研究包括多理论框架下的道德推理对比分析，如康德义务论与功利主义视角的模型行为差异研究。相关工作进一步推动了道德维度可解释性分析工具的开发，并催生了面向特定领域（如商业伦理、科技伦理）的精细化评估基准。这些研究共同构建起人工智能道德评估的方法体系，为后续研究提供了理论范式与实践标准。