TuringEnterprises/Rubric-Graded-Reasoning

Rubrics-Graded Reasoning 是一个多领域推理数据集，涵盖计算机科学、数据科学和化学三个领域，旨在通过揭示前沿模型的失败并将专家评分转化为训练信号来改进模型。数据集包含150个任务（每个领域50个），每个任务由博士级专家编写和评审，并配有原子加权评分标准，用于机器可验证地评估最终答案和中间推理步骤。数据集强调推理可见性（如推导、机制、计算和单位），提供高难度任务（通过率0%–50%），并支持强化学习奖励建模和过程级评估。配置包括：Rubric-CS（计算机科学，覆盖算法、系统、数据库等子领域）、Rubric-DS（数据科学，基于真实数据集的分析任务）和Rubric-Chem（化学，涵盖有机、无机、物理化学等子领域）。数据集适用于模型训练、评估和失败分析。

Rubrics-Graded Reasoning is a multi-domain reasoning dataset covering three fields: computer science, data science, and chemistry. It aims to improve model performance by uncovering the failure modes of state-of-the-art models and converting expert ratings into actionable training signals. The dataset contains 150 tasks (50 per domain), with each task written and reviewed by doctoral-level experts, and is equipped with atomic weighted grading rubrics for machine-verifiable evaluation of both final answers and intermediate reasoning steps. This dataset emphasizes reasoning visibility (such as derivations, mechanisms, calculations, and units), provides high-difficulty tasks with a pass rate ranging from 0% to 50%, and supports reinforcement learning reward modeling and process-level evaluation. Its configurations include Rubric-CS (computer science, covering subfields such as algorithms, systems, databases, etc.), Rubric-DS (data science, featuring analysis tasks based on real-world datasets), and Rubric-Chem (chemistry, covering subfields such as organic, inorganic, physical chemistry, etc.). The dataset is suitable for model training, evaluation, and failure analysis.

搜集汇总

数据集介绍

构建方式

该数据集由图灵企业团队精心构建，汇聚了计算机科学、数据科学和化学三大领域的博士级专家智慧。每个任务均经过领域专家独立创作与同行评审，并配以原子化的加权评分准则，将复杂的推理过程转化为可机器验证的训练信号。数据集共包含150个任务（每领域50个），是图灵大规模强化学习数据集方法论与质量标准的公开范例，保证了内容的高度专业性与可复现性。

使用方法

该数据集可通过HuggingFace的datasets库直接加载，支持按领域配置灵活调用，如`load_dataset("TuringEnterprises/Rubric-Graded-Reasoning", "Rubric-CS")`。数据科学子集还包含配套的CSV文件，需使用`snapshot_download`获取完整存储库。数据集适用于强化学习奖励建模、过程级评估、模型对比及推理失败分析等场景，为提升科学推理能力提供了宝贵资源。

背景与挑战

背景概述

Rubric-Graded-Reasoning数据集由Turing Enterprise团队于2026年创建，主要研究人员包括Juhi Parekh、Nicolas Morant等，旨在解决前沿大语言模型在复杂科学推理任务中表现不佳的问题。该数据集涵盖计算机科学、数据科学和化学三个领域，包含150个由博士级专家编写和审核的任务，每个任务均配有原子级加权评分准则（rubrics），能够对最终答案和中间推理步骤进行精细评分。这一创新性设计将专家评估转化为可机器验证的训练信号，显著提升了模型在推理任务上的表现，尤其在0%至50%的低通过率区间内展现了高难度任务的挑战性，为强化学习奖励建模和过程级评估提供了高质量基准，推动了多领域科学推理研究的发展。

当前挑战

该数据集的核心挑战在于解决现有基准测试的局限性：传统评估主要依赖最终答案的准确性，缺乏对推理过程的细粒度可见性和过程级评分准则，难以有效指导模型改进。为此，数据集设计需克服两大难题：其一，任务需具备“生产性难度”，即在前沿模型上通过率极低（0%-50%），同时确保推理过程可见，涵盖推导、机制、计算、单位转换等复杂环节；其二，构建过程中需跨越计算机科学、数据科学和化学三大学科，由领域专家手工创作权威内容并设计加权评分准，确保评分标准既反映最终答案正确性，又为中间推理步骤分配合理权重，同时提供可复现的黄金标准答案，以支持模型的强化学习训练和错误分析。

常用场景

经典使用场景

在人工智能与自然语言处理领域，Rubric-Graded-Reasoning数据集最为经典的使用场景是作为强化学习奖励建模与后训练的核心数据源。该数据集横跨计算机科学、数据科学和化学三大领域，每一道任务均由博士级专家精心撰写并辅以原子化加权评分细则。这些细则不仅评估最终答案的正确性，更追踪推理过程中的每一个关键步骤，使得模型能够在训练中同时获得最终结果与过程推理的双重奖励信号。研究者常利用该数据集的150道高难度任务（各领域50道）对前沿大语言模型进行迭代微调，以揭示模型在复杂科学推理任务中的失败模式，并针对性地提升其逻辑推导与多步计算能力。

解决学术问题

该数据集有效解决了学术研究中长期存在的几个关键难题。传统基准测试如MMLU或GPQA主要以最终答案评分，缺乏对模型推理过程的深度可观测性，导致难以定位错误根源。Rubric-Graded-Reasoning通过引入原子化加权评分细则，使得每个推理步骤的准确性都能被量化和优化，弥补了过程监督信号的缺失。此外，该数据集在16轮评估中前沿模型通过率仅为0%至50%，其精心设计的难度梯度为研究者提供了极具挑战性的测试平台，极大促进了针对复杂科学推理、多步推导和数值计算等能力的消融分析与归因研究。这一特质使其成为推动大语言模型从单纯答案匹配向真正可解释推理转型的关键资源。

实际应用

在实际应用中，Rubric-Graded-Reasoning数据集展现出了广泛的跨领域价值。在计算机科学领域，它可用于评估和强化模型在算法设计、系统优化、数据库查询及编译器实现等子领域的推理能力。在数据科学场景中，数据集基于真实业务数据（如金融分析、医疗健康、供应链管理），要求模型设计并执行多步骤分析流程，输出结构化结果，直接服务于企业级数据分析自动化与决策支持系统。化学领域的任务则覆盖了从有机合成路径规划到热力学计算的多种场景，可被用于智能化学实验室中的反应预测、机理推导与实验方案优化。这些实际应用不仅提升了AI系统的专业推理水平，还降低了专家评估的人力成本。

数据集最近研究

最新研究方向

Rubric-Graded-Reasoning数据集聚焦于前沿模型推理能力的精细化评估与强化学习训练，通过博士级专家构建的加权评分准则，揭示现有大语言模型在计算机科学、数据科学和化学领域中的推理短板。该数据集弥补了传统基准测试仅关注最终答案的局限，将过程级原子化评分转化为训练信号，显著提升了模型在结构化推导、机制解析和多步计算等复杂任务上的表现。其应用方向包括强化学习奖励建模、过程监督评估以及科学工程问答系统的鲁棒性测试，代表了从结果导向到过程可解释的推理优化新范式，对推动AI在科研与工业场景中的可靠决策具有重要价值。