faithful-thinking-draft

该数据集包含问题、选项、格式化问题、干扰性思维、正确答案、错误选项（可能为空）、结论改变、思维结束标记和干扰类型等字段。数据集分为Qwen3_32B_gpqa、deepseek_reasoner_gpqa、deepseek_reasoner_mmlu和Qwen3_32B_mmlu等多个部分，每个部分包含不同数量的示例。数据集总大小约为78.9MB，下载大小约为25.9MB。

原始信息汇总

数据集概述

基本信息

• 数据集名称: faithful-thinking-draft
• 下载大小: 27,831,080 字节
• 数据集大小: 83,654,896 字节

数据集特征

• question: 问题文本 (string)
• options: 选项列表 (sequence of strings)
• formatted_question: 格式化后的问题文本 (string)
• perturbed_thinking: 扰动思考 (string)
• correct_answer: 正确答案 (string)
• corrupt_option: 错误选项 (string)
• corrupt_content: 错误内容 (string)
• corrupt_content_explanation: 错误内容解释 (string)
• intervention_step: 干预步骤 (string)
• alter_conclusion: 改变结论 (string)
• thinking_end: 思考结束标志 (bool)
• intervention_type: 干预类型 (string)

数据集划分

1. Qwen3_32B_gpqa
   • 样本数量: 2,607
   • 数据大小: 27,834,765 字节
2. deepseek_reasoner_gpqa
   • 样本数量: 3,276
   • 数据大小: 45,068,368 字节
3. deepseek_reasoner_mmlu
   • 样本数量: 1,441
   • 数据大小: 6,269,259 字节
4. Qwen3_32B_mmlu
   • 样本数量: 1,377
   • 数据大小: 4,482,504 字节

配置信息

• Qwen3_32B_gpqa
  • 测试集路径: data/Qwen3_32B_gpqa-*
• Qwen3_32B_mmlu
  • 测试集路径: data/Qwen3_32B_mmlu-*
• deepseek_reasoner_gpqa
  • 测试集路径: data/deepseek_reasoner_gpqa-*
• deepseek_reasoner_mmlu
  • 测试集路径: data/deepseek_reasoner_mmlu-*

搜集汇总

数据集介绍

构建方式

在推理模型忠实性评估领域，faithful-thinking-draft数据集通过系统化干预方法构建而成。研究团队从DeepSeek Reasoner和Qwen3模型在GPQA与MMLU多选题上的推理轨迹出发，设计了精细的干预策略：针对推理过程内部忠实性，通过corrupt_option和shift_mapping技术在不同推理阶段修改选项内容或标签映射；针对推理到答案的忠实性，则引入直接错误结论与表面合理错误结论两种干预方式。每种干预均设置了继续推理与回溯修正两种行为模式，形成了多维度评估框架。

特点

该数据集在推理忠实性研究领域展现出独特的结构特征。其核心价值在于完整保留了原始推理轨迹与干预后轨迹的对应关系，每个样本包含原始问题、选项、格式化问题、干预后思考过程等十二个结构化字段。数据集按模型类型和知识领域划分为六个子集，涵盖数学、专业问答等多个学科。特别值得注意的是干预类型的精细划分，既包含推理过程中的内容篡改，也包含结论层面的语义干扰，为研究推理链的脆弱性提供了多角度观测窗口。

使用方法

使用本数据集进行推理忠实性评估时，研究者可通过加载特定模型子集展开分析。以deepseek_reasoner_mmlu子集为例，用户可对比perturbed_thinking字段与原始推理的差异，观察模型在遭遇选项内容篡改时的应对策略。通过intervention_type字段可筛选特定干预场景，如分析corrupt_option类干预下模型的错误传播机制。评估指标可聚焦于干预前后答案一致性的变化，或通过thinking_end字段分析模型是否能在受干扰情境下保持推理完整性。

背景与挑战

背景概述

随着大型语言模型在复杂推理任务中的广泛应用，其内部思维过程的忠实性问题逐渐成为研究焦点。2025年，由Zidi Xiong、Shan Chen等学者联合发布的Faithful Thinking Draft数据集，旨在系统评估语言模型思维草稿的忠实性。该数据集基于GPQA和MMLU等权威多选题基准，通过分析DeepSeek Reasoner与Qwen3模型的推理轨迹，重点探究模型在思维过程中对自身推理路径的遵循程度。这一研究填补了语言模型可解释性领域的空白，为构建可信赖的人工智能系统提供了关键评估工具。

当前挑战

该数据集面临的核心挑战在于如何精确量化思维过程的忠实性。在领域问题层面，需解决模型推理路径与最终结论间逻辑一致性的评估难题，包括思维步骤内部自洽性检验及推理链条完整性验证。构建过程中，设计有效的干预机制尤为关键，需在保持语义连贯性的前提下对思维草稿进行精准扰动，同时确保不同干预类型能有效区分模型的忠实性表现，避免引入评估偏差。

常用场景

经典使用场景

在大型语言模型推理能力评估领域，Faithful Thinking Draft数据集被广泛用于检验模型内部思维过程的忠实性。该数据集通过精心设计的干预机制，如选项内容篡改和答案映射转换，模拟模型在推理过程中可能遭遇的思维偏差，从而评估其在不同推理步骤中保持逻辑一致性的能力。研究人员利用该数据集对DeepSeek Reasoner和Qwen3等先进模型进行系统性测试，揭示模型在复杂多步推理任务中的思维轨迹可靠性。

实际应用

在实际应用层面，该数据集为构建高可靠性AI系统提供了关键支撑。在医疗诊断、金融分析和法律咨询等高风险决策场景中，通过验证模型思维过程的忠实性，可显著降低因推理链断裂导致的决策风险。教育科技领域则利用该数据集开发智能辅导系统，通过监测学生解题过程的思维连贯性，提供精准的学习干预策略。

衍生相关工作

该数据集催生了系列重要研究成果，特别是在可解释AI与推理验证交叉领域。基于其构建的思维干预范式，研究者开发了多种新型评估指标，如思维一致性系数和推理轨迹可信度评分。相关方法论已被拓展至数学定理证明、程序代码生成等复杂推理任务，形成了以思维忠实性为核心的新兴研究范式，为构建下一代可信推理模型提供了理论基石。