step_prm

| 数据集名称 | 是否有step | 可用于PRM训练 | 标签形式 | Title | 备注 | | ------------- | ---------- | ------------- | ------------ | ------------------------------------------------------------ | -------------------- | | GSM8K | ✅ | ❌ | 答案 | Training Verifiers to Solve Math Word Problems | | | MATH | ❌ | ❌ | 答案 | Measuring Mathematical Problem Solving With the MATH Dataset | Non-Step | | PRM800K | ✅ | ✅ | 正确类别 | Let's Verify Step by Step | prompt deduplication | | Math-Shepherd | ✅ | ✅ | 正确类别 | Math-Shepherd: Verify and Reinforce LLMs Step-by-step without Human Annotations | Not used | | ProcessBench | ✅ | ✅ | 首个错误步骤 | ProcessBench: Identifying Process Errors in Mathematical Reasoning | only label -1 || 数据集名称 | 是否包含推理步骤 | 可用于PRM（过程奖励模型，Process Reward Model）训练 | 标签形式 | 标题 | 备注 | | ------------- | ------------ | ------------------------------------------------ | ------------ | ------------------------------------------------------------ | -------------------- | | GSM8K | 是 | 否 | 答案 | 《训练验证器求解数学应用题》 | | | MATH | 否 | 否 | 答案 | 《基于MATH数据集的数学问题求解能力评测》 | 非步骤类 | | PRM800K | 是 | 是 | 正确类别 | 《循序渐进验证解题过程》 | 提示词去重 | | Math-Shepherd | 是 | 是 | 正确类别 | 《Math-Shepherd：无需人工标注即可循序渐进验证并强化大语言模型（LLM）的解题过程》 | 未使用 | | ProcessBench | 是 | 是 | 首个错误步骤 | 《ProcessBench：识别数学推理过程中的错误步骤》 | 仅标注-1 |

搜集汇总

背景与挑战

背景概述

该数据集包含多个用于数学问题解决的数据集，如GSM8K、PRM800K和ProcessBench，支持步骤级验证和过程监督模型（PRM）的训练。这些数据集涵盖不同的标签格式，包括答案、正确类别和首次错误步骤，旨在促进数学推理中的过程错误识别。