joey234/mmlu-philosophy-neg-prepend-fix

---
configs:
- config_name: default
data_files:
- split: dev
path: data/dev-*
- split: test
path: data/test-*
dataset_info:
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype:
class_label:
names:
'0': A
'1': B
'2': C
'3': D
- name: negate_openai_prompt
struct:
- name: content
dtype: string
- name: role
dtype: string
- name: neg_question
dtype: string
- name: fewshot_context
dtype: string
- name: ori_prompt
dtype: string
splits:
- name: dev
num_bytes: 4981
num_examples: 5
- name: test
num_bytes: 647230
num_examples: 311
download_size: 12766
dataset_size: 652211
---
# Dataset Card for "mmlu-philosophy-neg-prepend-fix"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• mmlu-philosophy-neg-prepend-fix

配置信息

• 默认配置：default

数据文件

• 开发集（dev）：路径为 data/dev-*
• 测试集（test）：路径为 data/test-*

数据特征

• question：问题，数据类型为字符串（string）
• choices：选项，数据类型为字符串序列（sequence: string）
• answer：答案，数据类型为类别标签（class_label），包含以下类别：
  • 0: A
  • 1: B
  • 2: C
  • 3: D
• negate_openai_prompt：结构化数据，包含以下字段：
  • content：内容，数据类型为字符串（string）
  • role：角色，数据类型为字符串（string）
• neg_question：否定问题，数据类型为字符串（string）
• fewshot_context：少量样本上下文，数据类型为字符串（string）
• ori_prompt：原始提示，数据类型为字符串（string）

数据集拆分

• 开发集（dev）：
  • 字节数：4981
  • 样本数：5
• 测试集（test）：
  • 字节数：647230
  • 样本数：311

数据集大小

• 下载大小：12766 字节
• 数据集大小：652211 字节

搜集汇总

数据集介绍

构建方式

该数据集基于MMLU（Massive Multitask Language Understanding）基准中的哲学子集构建而成。在原始数据基础上，研究者通过引入否定前缀（neg-prepend）机制对问题进行了改造，即在每个问题的开头添加否定性引导词，以测试语言模型在负面语境下的推理能力。数据集分为开发集（dev）和测试集（test），其中开发集包含5个样本用于模型调优，测试集包含311个样本用于性能评估。数据字段包括原始问题（question）、选项（choices）、正确答案（answer）、否定后的提示（negate_openai_prompt）、否定问题（neg_question）、少样本上下文（fewshot_context）以及原始提示（ori_prompt），为多维度分析模型行为提供了结构化支持。

使用方法

使用该数据集时，研究者可加载'joey234/mmlu-philosophy-neg-prepend-fix'并指定split为'dev'或'test'。典型应用场景包括评估语言模型在否定语境下的准确率，分析模型对逻辑反转的鲁棒性。建议将neg_question字段作为输入，以answer字段作为标签进行监督学习或零样本测试。也可利用fewshot_context字段构建少样本提示，对比不同提示策略对模型表现的影响。此外，通过negate_openai_prompt字段可探索模型在结构化否定提示下的响应特征。数据集兼容HuggingFace Datasets库，可直接通过load_dataset函数调用，便于与现有NLP工作流整合。

背景与挑战

背景概述

在自然语言处理与知识推理的交汇领域，大规模多任务语言理解（MMLU）基准测试已成为评估模型知识广度与推理能力的重要标尺。joey234/mmlu-philosophy-neg-prepend-fix 数据集聚焦于哲学子领域，由研究者于2023年左右构建，旨在修正原始MMLU中否定前缀设置不当的问题，从而更精确地衡量语言模型在哲学逻辑与伦理思辨上的表现。该数据集包含311个测试样本与5个开发样本，每个问题附带四个选项及修正后的否定提示，其核心研究问题在于探究否定表达对模型推理的干扰效应，并为后续哲学领域专用评估提供可靠基线。这一工作对推动可解释AI与逻辑一致性研究具有潜在影响，尤其为细粒度领域知识测试树立了新范式。

当前挑战

当前数据集面临的核心挑战首先在于领域问题的复杂性：哲学推理涉及高度抽象的概念与多义性术语，模型需在否定结构下准确解析蕴含关系，这对现有预训练语言模型的逻辑鲁棒性构成严峻考验。其次，构建过程中遭遇的挑战包括数据稀疏性——仅311个测试样本难以覆盖哲学分支（如认识论、形而上学）的完整知识图谱，且修正否定前缀需人工校验以避免引入语义偏差。此外，原始MMLU中哲学子集的标注一致性不足，导致修正版本需反复迭代以平衡否定强度与自然表达，这增加了数据集维护的难度。

常用场景

经典使用场景

在自然语言处理与知识推理的交叉领域中，joey234/mmlu-philosophy-neg-prepend-fix 数据集专门用于评估和提升语言模型对否定语义的理解能力。该数据集以哲学学科的多选题为基底，通过引入否定前缀修正策略，构建了包含原始问题与否定变体的对照样本。其经典使用场景在于测试模型在逻辑否定操作下的推理鲁棒性，例如判断模型能否在“非A则B”的复杂表述中准确识别正确选项，从而揭示当前大语言模型在否定语境中常见的认知偏差。

解决学术问题

该数据集精准回应了语言模型在否定逻辑处理上的学术困境——传统基准测试往往忽略否定句式的干扰效应，导致模型在反事实推理、矛盾检测等任务中表现脆弱。通过系统性地在哲学问题中嵌入否定前缀，研究者得以量化模型对语义翻转的敏感度，并探索预训练阶段否定样本稀缺的根源。这一工作为分析语言模型的形式逻辑能力提供了细粒度诊断工具，推动了可解释AI领域对模型推理边界的研究。

实际应用

在实际部署中，该数据集可应用于需要精准理解否定指令的智能系统，如法律文档审查、哲学文本解析或教育领域的自动答题系统。例如，在法学推理场景中，模型需区分“合同无效”与“合同非无效”的细微差异；在哲学教学中，系统需避免因否定前缀误读而给出错误论证。该数据集通过暴露模型在否定逻辑上的脆弱性，为开发更鲁棒的对话机器人和知识问答系统提供了关键测试床。

数据集最近研究

最新研究方向

在人工智能与自然语言处理的交叉领域中，大规模多任务语言理解基准（MMLU）已成为评估模型综合知识能力的核心工具。针对哲学子集的joey234/mmlu-philosophy-neg-prepend-fix数据集，近期研究聚焦于通过否定前缀修正技术，探索语言模型在逻辑推理与语义反转任务中的脆弱性。该数据集通过构建否定问题（neg_question）与原始提示的对比，揭示了当前主流模型在处理否定句式时存在的系统性偏差，这一方向与对抗性鲁棒性研究及可解释AI的前沿热点紧密相连。其意义在于，不仅为改进模型对复杂逻辑结构的理解提供了基准测试平台，还推动了知识溯源与错误归因技术的革新，对构建更可靠、更符合人类认知规律的智能系统具有深远影响。