pharaouk/UltraInteract_pair

UltraInteract是一个大规模、高质量的对齐数据集，专门设计用于复杂推理任务。每个指令包含一个偏好树，该树由多样化的规划策略推理链、与环境的多轮交互轨迹以及用于偏好学习的成对数据组成。数据集的结构包括任务类型、数据集来源、轨迹、选择的答案和拒绝的答案等字段。数据集包含86k个指令、286k个正确答案和219k对数据。

原始信息汇总

数据集概述

数据集名称

• 名称: UltraInteract_pair

数据集配置

• 配置名称: default
• 数据文件:
  • 分割: train
  • 路径: ultrainteract_preference_learning.json

数据集特征

• 特征名称 及 数据类型:
  • task: string
  • dataset: string
  • trajectory: list
    • from: string
    • value: string
  • chosen: string
  • rejected: string
  • id: string
  • parent_id: string

数据集分割

• 分割名称: train
• 统计信息:
  • num_bytes: 1144517
  • num_examples: 219522

数据集大小

• 下载大小: 1144517
• 数据集大小: 1144517

数据集格式

• JSONC格式示例: jsonc { "id": "...", "parent_id": "...", "task": "Math_PoT", "dataset": "MATH", "trajectory": [ { "from": "user", "value": "..." }, ... ], "chosen": "...", "rejected": "..." }

数据集用途

• 用途: 用于复杂推理任务的偏好学习，包括推理链、多轮交互轨迹和成对数据。

数据集结构

• 结构描述: 每个指令包含一个偏好树，树中的每个动作作为一个节点，轨迹是从根到叶的路径，包含一系列动作。

数据集示例

• 示例描述: 展示了一个两轮的交互轨迹，其中演员模型生成逐步推理链，环境提供观察，批评模型提供文本批评。

数据集统计

• 统计信息: 包含86k指令，286k正确答案，219k对。

搜集汇总

数据集介绍

构建方式

在复杂推理任务的对齐需求日益凸显的背景下，UltraInteract_pair数据集应运而生。其构建方式独树一帜，针对每一条指令构建了一棵偏好树，指令本身作为根节点，每一次智能体的动作作为子节点。一条轨迹被定义为从根节点到叶节点的路径，由一系列动作序列构成。在该偏好树中，所有正确动作的节点以及以正确动作结尾的轨迹均可用于监督微调，而配对的正误节点或轨迹则专门服务于偏好学习，从而形成了规模达21.9万对的结构化偏好数据。

特点

该数据集的核心特征在于其层次化的偏好树结构，能够捕捉复杂推理任务中多样化的规划策略与多轮交互动态。每条数据不仅包含完整的对话轨迹，还整合了来自环境与批判模型的观察与文本反馈，使得模型可以学习到从错误中自我修正的能力。数据集覆盖了Coding、Math_Cot、Math_PoT与Logic四大任务类型，并源自MATH等权威基准，确保了任务多样性与数据质量。此外，其统一的JSON格式中明确区分了chosen与rejected答案，为直接进行偏好学习提供了便利。

使用方法

使用UltraInteract_pair数据集时，可直接加载HuggingFace上的pharaouk/UltraInteract_pair仓库，其中默认配置下训练集包含ultrainteract_preference_learning.json文件。每条数据包含task、dataset、trajectory、chosen、rejected及id等字段，用户可根据任务类型筛选所需子集。对于偏好学习任务，可直接利用chosen与rejected字段构建对比样本；对于监督微调，则可从trajectory中提取完整的对话历史作为输入，并以chosen作为目标输出。该数据集设计精巧，易于集成到标准的大语言模型训练流程中。

背景与挑战

背景概述

UltraInteract_pair数据集由清华大学、北京智源人工智能研究院及多家合作机构的研究人员于2024年联合创建，旨在应对大型语言模型在复杂推理任务中对齐的迫切需求。该数据集的核心研究问题在于如何通过结构化的偏好树，系统性地收集包含多样化规划策略的推理链、多轮交互轨迹以及成对偏好数据，从而提升模型在数学、逻辑与编程等复杂场景下的推理泛化能力。作为Eurus系列的重要组成部分，UltraInteract_pair为偏好学习提供了超过21.9万条高质量样本，显著推动了推理导向的对齐研究，成为该领域影响力日益增长的基准资源。

当前挑战

当前数据集面临的核心挑战在于复杂推理任务中偏好信号的稀疏性与噪声干扰。具体而言，数学与编程等任务需要模型在长链推理中保持一致性，而传统二元偏好标注难以捕捉中间步骤的正确性，导致模型在部分正确轨迹上学习到误导性信号。构建过程中，面对86k条指令与286k条正确答案的庞大规模，如何确保多轮交互轨迹的多样性同时避免环境反馈的歧义性成为关键难题。此外，偏好树的结构化设计需要平衡深度与广度，以防止模型因过度探索低效路径而牺牲推理效率，这对数据采集与标注的鲁棒性提出了严苛要求。

常用场景

经典使用场景

UltraInteract_pair 数据集专为大型语言模型的复杂推理对齐任务而设计，其经典用法在于为每一条指令构建一棵偏好树，树中包含多样化的规划策略推理链、多轮交互轨迹以及成对的偏好数据。研究者可利用该数据集进行直接偏好优化或基于人类反馈的强化学习，通过对比正确的与错误的推理路径，引导模型在数学、编程、逻辑推理等需要深度思考的领域内生成更精确、更符合人类期望的答案。该数据集特别适用于训练模型在交互式环境中逐步修正错误、迭代优化推理过程，从而提升其解决复杂问题的稳健性与准确性。

衍生相关工作

该数据集衍生了一系列关于复杂推理偏好学习的前沿工作，其中最具代表性的是基于 UltraInteract 训练的 Eurus 系列模型。这些工作探索了如何利用偏好树中的多粒度对比信号（如节点级与轨迹级对比）来提升推理泛化能力，并提出了多种偏好学习策略的变体，如基于轨迹长度的奖励建模与基于错误类型的难例挖掘。此外，该数据集还催生了针对交互式推理环境下的模型鲁棒性研究，以及将树结构偏好数据与过程奖励模型相结合的新方法，进一步拓展了复杂推理对齐的研究边界。

数据集最近研究

最新研究方向

UltraInteract_pair数据集聚焦于构建大规模、高质量的偏好学习对齐数据，专门针对复杂推理任务。当前前沿研究方向包括利用偏好树结构进行多步推理链的规划与评估，结合多轮交互轨迹与环境反馈，以提升大语言模型在数学、编程、逻辑推理等领域的泛化能力。该数据集通过统一格式的推理策略与成对偏好数据，为强化学习中的偏好优化提供了可靠基础，尤其适用于需要精确步骤分解与错误纠正的场景。其影响在于推动LLM从简单问答向复杂任务推理的演进，相关热点如Eurus系列模型展示了基于此类数据的训练能显著增强模型的自我修正与多步规划能力，为构建通用推理智能体开辟了新路径。