joey234/mmlu-moral_scenarios

--- dataset_info: features: - name: question dtype: string - name: choices sequence: string - name: answer dtype: class_label: names: '0': A '1': B '2': C '3': D - name: negate_openai_prompt struct: - name: content dtype: string - name: role dtype: string - name: neg_question dtype: string - name: fewshot_context dtype: string - name: fewshot_context_neg dtype: string splits: - name: dev num_bytes: 7379 num_examples: 5 - name: test num_bytes: 4986899 num_examples: 895 download_size: 339959 dataset_size: 4994278 configs: - config_name: default data_files: - split: dev path: data/dev-* - split: test path: data/test-* --- # Dataset Card for "mmlu-moral_scenarios" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)数据集信息： 特征字段： - 名称：问题（question），数据类型：字符串 - 名称：选项（choices），数据类型：字符串序列 - 名称：答案（answer），数据类型：分类标签（class_label），类别映射为：'0'对应'A'，'1'对应'B'，'2'对应'C'，'3'对应'D' - 名称：反向OpenAI提示词（negate_openai_prompt），数据类型：结构体，包含以下子字段： - 内容（content）：字符串类型 - 角色（role）：字符串类型 - 名称：反向问题（neg_question），数据类型：字符串 - 名称：少样本上下文（fewshot_context），数据类型：字符串 - 名称：反向少样本上下文（fewshot_context_neg），数据类型：字符串 数据划分： - 划分名称：开发集（dev），字节大小：7379，样本数量：5 - 划分名称：测试集（test），字节大小：4986899，样本数量：895 下载大小：339959 字节 数据集总大小：4994278 字节 配置项： - 配置名称：default（默认配置），数据文件： - 划分：dev，路径：data/dev-* - 划分：test，路径：data/test-* # 「mmlu-moral_scenarios」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

• 名称: mmlu-moral_scenarios

数据特征

• question: 字符串类型
• choices: 字符串序列
• answer: 分类标签，对应关系如下：
  • 0: A
  • 1: B
  • 2: C
  • 3: D
• negate_openai_prompt: 结构化数据，包含以下字段：
  • content: 字符串类型
  • role: 字符串类型
• neg_question: 字符串类型
• fewshot_context: 字符串类型
• fewshot_context_neg: 字符串类型

数据分割

• dev:
  • 大小: 7379字节
  • 示例数量: 5
• test:
  • 大小: 4986899字节
  • 示例数量: 895

数据集大小

• 下载大小: 339959字节
• 总大小: 4994278字节

配置文件

• config_name: default
• data_files:
  • dev: data/dev-*
  • test: data/test-*

搜集汇总

数据集介绍

构建方式

在道德推理与人工智能交叉领域，joey234/mmlu-moral_scenarios数据集通过精心设计的道德情境构建而成。该数据集源自MMLU基准的扩展，专注于道德场景的评估，其构建过程涉及从广泛知识领域中筛选与道德决策相关的多项选择题。每个样本包含一个核心问题、四个选项及标准答案，并额外整合了由OpenAI模型生成的否定提示、否定形式的问题以及少量示例上下文，这些元素共同增强了数据集的复杂性与对抗性测试能力。开发集与测试集的划分确保了模型评估的严谨性，为道德认知计算研究提供了结构化基础。

特点

该数据集的核心特征在于其多维度的道德评估框架。每个数据样本不仅呈现标准的多项选择问题，还引入了否定提示和否定问题，这模拟了现实世界中道德困境的复杂性与模糊性。数据集包含895个测试样本和5个开发样本，覆盖了广泛的道德情境，其结构化特征如fewshot_context支持少量样本学习，促进了模型在有限信息下的推理能力。这种设计使数据集不仅能测试模型的知识记忆，更能深入评估其道德逻辑推理、语境理解及对抗性干扰的鲁棒性，为人工智能伦理对齐研究提供了精细化的测评工具。

使用方法

使用本数据集时，研究者可将其应用于道德感知人工智能模型的训练与评估。典型流程包括加载开发集进行初步验证，随后在测试集上系统评估模型性能。数据中的negate_openai_prompt和neg_question字段可用于构建对抗性测试，以检验模型在误导性信息下的稳定性；fewshot_context则支持上下文学习范式的实验。通过分析模型在标准答案与否定变体上的表现差异，能够深入洞察其道德推理的深度与一致性，为提升人工智能系统的伦理决策能力提供实证依据。

背景与挑战

背景概述

在人工智能伦理与道德推理研究领域，构建能够评估模型道德判断能力的数据集至关重要。'joey234/mmlu-moral_scenarios'数据集作为MMLU（大规模多任务语言理解）基准的一个子集，专注于道德场景分析，其创建旨在探究语言模型在复杂伦理情境下的推理与决策能力。该数据集由社区研究者贡献，核心研究问题聚焦于如何量化模型对道德困境的理解，从而推动可解释、可信赖人工智能系统的发展，对促进AI与人文价值的融合具有深远影响。

当前挑战

该数据集致力于解决道德推理这一高度抽象且文化依赖的领域问题，其挑战在于道德判断往往缺乏绝对标准，需处理价值观多样性与情境模糊性。在构建过程中，挑战体现在设计具有足够复杂性和平衡性的道德场景，确保选项既能反映伦理冲突又避免偏见，同时标注高质量答案需要跨学科专业知识，以克服主观性带来的标注一致性难题。

常用场景

经典使用场景

在人工智能伦理与道德推理领域，joey234/mmlu-moral_scenarios数据集为评估模型在复杂道德情境下的决策能力提供了标准化基准。该数据集通过精心设计的道德场景问题，模拟现实世界中的伦理困境，要求模型从多个选项中选择最符合道德规范的答案。这一经典使用场景不仅测试模型的知识理解深度，更着重于其价值对齐与推理逻辑的严谨性，为研究者提供了量化模型道德判断能力的可靠工具。

解决学术问题

该数据集有效解决了人工智能伦理研究中长期存在的道德基准缺失问题。通过构建涵盖多元文化背景与伦理体系的标准化测试集，研究者能够系统评估模型在隐私权、公平性、责任归属等核心伦理议题上的表现。其意义在于将抽象的伦理原则转化为可测量的指标，推动了价值对齐、伦理约束建模等前沿方向的发展，为构建安全可靠的人工智能系统奠定了实证基础。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在道德图谱构建与跨文化伦理推理两个方向。部分研究利用其场景数据训练道德偏好预测模型，实现了对复杂伦理关系的结构化表征；另一些工作则通过对比不同地域文化背景下的答案分布，揭示了人工智能伦理评估中的文化相对性问题。这些成果显著丰富了可解释人工智能的研究维度，并为全球性AI伦理标准的制定提供了跨学科参考。