pharaouk/DiagGSM8K

在这项工作中，我们引入了一种新的评估范式，用于挑战大型语言模型进行元推理。我们的范式将评估重点从结果导向的评估转向更全面的评估，有效区分模型之间的认知能力。具体来说，给定一个GSM8K问题及其解决方案，评估模型需要预测解决方案的正确性。如果解决方案不正确，模型需要进一步定位第一个错误位置并解释错误原因。每个测试问题都结合了两种变体，需要代码解决方案和逆向推理。字段model_output_steps是逐步解决方案，model_output_solution_correctness、model_output_solution_first_error_step和model_output_solution_first_error_reason是标识其正确性、潜在第一个错误步骤和错误原因的标签。解决方案的正确性和第一个错误步骤可以自动评分，错误原因应由领域专家或GPT4谨慎手动评分。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别:
  • 问答
  • 文本生成
• 语言: 英语
• 标签:
  • 代码
  • 数学
• 数据集名称: DiagGSM8k
• 数据集大小: 1K<n<10K

数据集描述

• 评估范式: 引入一种新的评估大型语言模型的范式，强调元推理能力。
• 评估内容: 模型需预测GSM8K问题的解决方案正确性，若不正确，需定位并解释第一个错误。
• 测试问题: 每个问题伴随两种变体，需代码解决方案和反向推理。
• 输出字段:
  • model_output_steps: 逐步解决方案
  • model_output_solution_correctness: 解决方案正确性标签
  • model_output_solution_first_error_step: 第一个错误步骤标签
  • model_output_solution_first_error_reason: 错误原因标签
• 评分方式:
  • 解决方案正确性和第一个错误步骤自动评分
  • 错误原因需领域专家手动评分或使用GPT4谨慎评分

评估结果

模型	评估方法	准确率	TPR	TNR	步骤	步骤+原因
Claude2	0-shot	1968/3000	962/1427	1006/1573	311/1573	173/1573
GPT3-5	0-shot	1701/3000	1125/1427	576/1573	159/1573	68/1573
GPT4	0-shot	2359/3000	985/1427	1374/1573	784/1573	644/1573
WizardMath-70B	3-shot	1187/3000	1176/1427	11/1573	4/1573	1/1573
Mammoth-70B	3-shot	1451/3000	1410/1427	41/1573	4/1573	1/1573
MetaMath-70B	3-shot	1471/3000	1305/1427	166/1573	22/1573	6/1573
llama2-70B-diag	0-shot	1609/3000	453/1427	1156/1573	323/1573	99/1573

引用信息

@misc{zeng2023challenge, title={Challenge LLMs to Reason About Reasoning: A Benchmark to Unveil Cognitive Depth in LLMs}, author={Zhongshen Zeng and Pengguang Chen and Haiyun Jiang and Jiaya Jia}, year={2023}, eprint={2312.17080}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

DiagGSM8K数据集基于GSM8K数学问题构建，旨在评估大语言模型的元推理能力。每个测试样本包含一个GSM8K问题及其逐步解答，模型需判断解答的正确性，若错误则需定位首个错误步骤并阐明错误原因。数据集为每个问题配备了两个变体，分别要求代码解答和反向推理，从而丰富评估维度。字段'model_output_steps'存储待评分的逐步解答，而'model_output_solution_correctness'、'model_output_solution_first_error_step'和'model_output_solution_first_error_reason'则分别标注了正确性、首个错误步骤及错误原因，其中错误原因需由领域专家或谨慎使用GPT-4进行人工评估。

使用方法

使用DiagGSM8K时，研究者可加载数据集并利用'model_output_steps'作为输入，要求模型输出解答正确性、首个错误步骤及错误原因。正确性与错误步骤可通过预定义规则自动评分，而错误原因需通过人工或GPT-4等高级模型进行细致评估，建议参考论文第5节以获取详细指导。数据集支持0-shot和3-shot评估范式，已在Claude2、GPT-4及多种70B参数模型上完成基准测试，结果可直接用于比较模型的元推理性能。代码示例和完整评估流程可在项目GitHub页面获取。

背景与挑战

背景概述

DiagGSM8K数据集由香港中文大学多媒体实验室（DVLab）的曾仲深、陈鹏光、蒋海云和贾佳亚于2023年提出，旨在革新大型语言模型（LLM）的评估范式。传统评估偏重结果导向，往往忽视推理过程，而该数据集聚焦于元推理能力，要求模型不仅判断数学问题解答的正确性，还需定位首个错误步骤并阐释错误原因。基于GSM8K问题，DiagGSM8K引入代码解答与反向推理变体，构建了3000个测试样本。实验表明，GPT-4在准确性上较GPT-3.5提升近十倍，凸显了该基准在区分模型认知深度方面的独特价值，为LLM推理能力研究开辟了新方向。

当前挑战

DiagGSM8K面临的挑战涵盖领域问题与构建过程两方面。在领域层面，它直击LLM推理评估的深层难题：现有基准无法有效区分模型在推理过程中的认知差异，如WizardMath-70B等模型虽在传统任务中表现优异，但在错误定位与原因解释上近乎失效，真阳性率仅11/1573，揭示出模型对推理步骤理解的严重缺失。构建过程中，挑战在于设计多维度标签系统——解决方案正确性、首个错误步骤及错误原因需兼顾自动化评分与人工校验，尤其错误原因标注依赖领域专家或谨慎使用GPT-4，流程复杂且成本高昂，对数据质量与评估可靠性构成考验。

常用场景

经典使用场景

DiagGSM8K数据集的核心应用场景在于为大型语言模型（LLMs）提供一种超越传统结果导向评估的元推理（meta-reasoning）能力测试。该数据集以GSM8K数学问题及其解答为基础，要求模型不仅判断解决方案的正确性，还需在解答错误时精准定位首个错误步骤并阐明错误原因。这一设计巧妙地将评估焦点从答案准确性转向推理过程的深度剖析，尤其适用于衡量模型在复杂数学推理任务中的认知层次与逻辑严谨性。

解决学术问题

该数据集直面当前LLMs评估体系中的一个关键学术瓶颈：传统基准测试往往忽视推理过程的质量，导致模型间的认知差异被掩盖。DiagGSM8K通过引入正确性判断、错误步骤定位与错误原因解释的三重任务，有效区分了不同模型在元认知层面的表现。例如，GPT-4在该基准上的准确率显著优于GPT-3.5，揭示了深层次推理能力与表面性能之间的鸿沟，为研究模型推理的脆弱性与可解释性提供了量化工具。

实际应用

在实际应用中，DiagGSM8K可服务于教育领域的智能辅导系统，用于自动评估学生（或模型）的数学解题过程，而非仅关注最终答案。此外，该数据集在代码调试与反向推理场景中具有独特价值——其包含的代码解决方案变体能够检验模型在编程逻辑中的错误诊断能力。这些特性使得DiagGSM8K成为构建可信赖AI系统的重要测试平台，尤其在需要透明决策与错误追溯的工业级应用中。

数据集最近研究

最新研究方向

DiagGSM8K数据集聚焦于大型语言模型的元推理能力评估，前沿研究方向从传统的结果导向评测转向对模型推理过程的深度剖析。该基准要求模型不仅判断数学问题解答的正确性，还需定位首个错误步骤并阐释错误原因，结合代码解法与反向推理变体，构建了多维度的认知诊断框架。当前热点围绕GPT-4等前沿模型在该基准上展现的显著优势展开，其准确率较GPT-3.5提升近十倍，揭示了模型在复杂逻辑追踪与错误归因能力上的层级差异。这一范式革新对推动可解释人工智能发展具有里程碑意义，为评估语言模型的真实认知深度提供了可量化的新标准。