Birchlabs/test-parquet

--- # Full dataset card template at https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/datasetcard_template.md language: - en license: mit tags: - reasoning annotations_creators: - expert-generated pretty_name: PRM800K size_categories: - 100K<n<1M task_categories: - question-answering # Optional. This part can be used to store the feature types and size of the dataset to be used in python. This can be automatically generated using the datasets-cli. dataset_info: - config_name: all_positive_responses features: - name: instruction dtype: string - name: responses sequence: dtype: string - name: next_response dtype: string - name: answer dtype: string - config_name: solutions_only features: - name: instruction dtype: string - name: responses sequence: dtype: string - name: next_response dtype: string - name: answer dtype: string # splits: # - name: {split_name_0} # Example: train # num_bytes: {split_num_bytes_0} # Example for SQuAD: 79317110 # num_examples: {split_num_examples_0} # Example for SQuAD: 87599 # download_size: {dataset_download_size} # Example for SQuAD: 35142551 # dataset_size: {dataset_size} # Example for SQuAD: 89789763 ---# 完整数据集卡片模板，详见：https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/datasetcard_template.md language: - 英语 license: MIT许可证 tags: - 推理 annotations_creators: - 专家生成标注 pretty_name: PRM800K size_categories: - 10万 < 样本量 < 100万 task_categories: - 问答 # 可选内容。此部分用于存储Python中使用的数据集特征类型与规模信息，可通过datasets-cli工具自动生成。 dataset_info: - config_name: all_positive_responses features: - 字段名：instruction，数据类型：字符串 - 字段名：responses，数据类型：字符串序列 - 字段名：next_response，数据类型：字符串 - 字段名：answer，数据类型：字符串 - config_name: solutions_only features: - 字段名：instruction，数据类型：字符串 - 字段名：responses，数据类型：字符串序列 - 字段名：next_response，数据类型：字符串 - 字段名：answer，数据类型：字符串 # splits: # - 划分名称：{split_name_0} # 示例：train（训练集） # 字节占用大小：{split_num_bytes_0} # 以SQuAD数据集为例：79317110 # 样本数量：{split_num_examples_0} # 以SQuAD数据集为例：87599 # 总下载大小：{dataset_download_size} # 以SQuAD数据集为例：35142551 # 总数据集存储大小：{dataset_size} # 以SQuAD数据集为例：89789763

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 许可证: MIT
• 标签: 推理
• 标注创建者: 专家生成
• 数据集名称: PRM800K
• 数据集大小: 100K<n<1M
• 任务类别: 问答

数据集配置

配置名称: all_positive_responses

• 特征:
  • instruction: 字符串
  • responses: 字符串序列
  • next_response: 字符串
  • answer: 字符串

配置名称: solutions_only

• 特征:
  • instruction: 字符串
  • responses: 字符串序列
  • next_response: 字符串
  • answer: 字符串

搜集汇总

数据集介绍

构建方式

在数学推理与复杂问题求解领域，高质量的数据集是驱动模型逻辑能力跃升的关键基石。Birchlabs/test-parquet数据集以PRM800K为基础，经由专家精心筛选与标注，专注于收集并整理包含逐步推理过程的问答对。该数据集提供两种配置：all_positive_responses与solutions_only，前者涵盖所有正面回应，后者则仅保留完整解决方案。每条数据包含指令、多步回应序列、下一步回应及最终答案，结构严谨且层次分明，为过程监督与结果验证提供了双重支撑。

特点

该数据集的核心亮点在于其面向推理能力的专门化设计。所有样本均源自专家生成的数学问题与解答，确保了数据的高质量与逻辑严密性。数据集规模介于十万至百万级别，覆盖广泛且难度梯度合理。通过序列化存储多步回应，该数据集不仅支持最终答案的评估，更能够对模型每一步的推理过程进行细致监督，从而有效促进模型逻辑连贯性的提升与错误模式的识别。

使用方法

Birchlabs/test-parquet数据集的使用便捷而灵活。用户可通过HuggingFace的datasets库直接加载，选择all_positive_responses或solutions_only配置以适配不同训练需求。在训练过程中，可基于instruction与responses字段构建输入输出对，利用next_response字段实施过程监督学习，或借助answer字段进行最终答案的验证。该数据集特别适用于训练具备逐步推理能力的语言模型，如数学解题、逻辑推导等场景，亦可作为强化学习中奖励模型训练的数据基础。

背景与挑战

背景概述

在人工智能领域，推理能力的提升是通往通用智能的关键阶梯。Birchlabs/test-parquet数据集，实质上是PRM800K数据集的一个重制版本，由OpenAI的研究团队于2023年左右创建，旨在推动数学推理问题的自动化求解与验证。该数据集聚焦于过程奖励模型（Process Reward Model, PRM）的训练，核心研究问题在于如何通过细粒度的步骤级监督信号，引导大语言模型在复杂数学推理任务中生成正确且可解释的解题路径。PRM800K包含了约80万条由专家标注的数学问题求解步骤及其正确性标签，为后续的PRM模型训练提供了高质量的基准资源。这一数据集的推出，不仅显著提升了模型在MATH等数学基准上的表现，更深刻影响了强化学习与推理对齐领域的研究范式，成为连接符号逻辑与神经网络的桥梁。

当前挑战

Birchlabs/test-parquet数据集所应对的核心挑战，在于解决大语言模型在数学推理中常见的‘虚假正确’与‘步骤错误累积’问题。传统模型往往能给出最终正确答案，但中间推理步骤可能存在逻辑漏洞，而PRM800K通过步骤级标注，迫使模型关注推理过程的严谨性。构建过程中，团队面临的首要挑战是标注成本与一致性：专家需对每道题的每个解题步骤进行独立评判，确保标注标准统一且无歧义。其次，数据集的规模与多样性平衡也是一大难题，需覆盖从基础算术到竞赛级难题的广泛难度区间，以避免模型过拟合于特定题型。此外，如何设计高效的步骤分割策略，使得标注粒度既能捕捉关键错误又不至于过于琐碎，同样是构建过程中的技术痛点。这些挑战的克服，使得PRM800K成为过程监督方法研究的基石数据集。

常用场景

经典使用场景

在自然语言处理与推理能力评估的交叉领域，Birchlabs/test-parquet数据集（即PRM800K）以其大规模、专家标注的数学推理问答对而著称。该数据集最经典的使用场景是作为过程奖励模型（Process Reward Model, PRM）的训练与评测基准。研究者通常利用其提供的多步推理轨迹，训练模型对中间推理步骤的正确性进行判别，以此提升大型语言模型在复杂数学问题上的链式思考能力。

解决学术问题

该数据集精准地解决了当前学术界在数学推理任务中缺乏细粒度、高质量过程监督信号的困境。传统方法多依赖最终答案的正确性进行强化学习，难以捕捉推理过程中的局部错误。PRM800K通过提供每一步的专家标注反馈，使得过程奖励模型得以训练，显著提升了模型在数学竞赛级问题上的推理准确率与鲁棒性，为可解释、可信赖的推理系统研究奠定了数据基石。

衍生相关工作

围绕PRM800K数据集，学术界已衍生出多项具有深远影响的经典工作。其中最具代表性的是OpenAI提出的过程奖励模型（PRM）训练范式，该工作直接利用该数据集验证了过程监督优于结果监督的结论。随后，诸如Math-Shepherd、AlphaMath等研究进一步拓展了其应用边界，通过自我训练或搜索算法在无需人工标注的情况下生成过程监督信号，推动了弱监督与自监督推理学习领域的发展。