UCLA-AGI/data-mistral-7b-instruct-sppo-iter1

该数据集包含多个特征，包括提示ID（prompt_id）、提示内容（prompt）、生成的多个响应（generate_0到generate_4，每个响应包含内容和角色两个子特征）、概率序列（probability）和评分序列（rm_scores）。数据集分为一个训练集，包含19766个样本，总大小为270134345字节，下载大小为151119300字节。

The dataset includes multiple features such as prompt_id, prompt, generate_0 to generate_4 (each containing sub-features content and role), probability sequences, and rm_scores sequences. The dataset is divided into a training set containing 19,766 samples, with a total size of 270,134,345 bytes and a download size of 151,119,300 bytes.

原始信息汇总

数据集概述

数据集信息

• 特征:
  • prompt_id: 字符串类型
  • prompt: 字符串类型
  • generate_0: 列表类型，包含以下字段:
    • content: 字符串类型
    • role: 字符串类型
  • generate_1: 列表类型，包含以下字段:
    • content: 字符串类型
    • role: 字符串类型
  • generate_2: 列表类型，包含以下字段:
    • content: 字符串类型
    • role: 字符串类型
  • generate_3: 列表类型，包含以下字段:
    • content: 字符串类型
    • role: 字符串类型
  • generate_4: 列表类型，包含以下字段:
    • content: 字符串类型
    • role: 字符串类型
  • probability: 序列类型，包含浮点数
  • rm_scores: 序列类型，包含浮点数

数据集分割

• 训练集:
  • 样本数量: 19766
  • 数据大小: 270134345 字节

数据集大小

• 下载大小: 151119300 字节
• 数据集大小: 270134345 字节

配置

• 默认配置:
  • 数据文件路径: data/train-*

搜集汇总

数据集介绍

构建方式

该数据集UCLA-AGI/data-mistral-7b-instruct-sppo-iter1是基于Mistral-7B-Instruct模型通过自我博弈偏好优化（Self-Play Preference Optimization, SPPO）迭代生成而得。构建过程中，首先从一组初始提示（prompt）出发，每个提示对应唯一标识符prompt_id。随后，模型为每个提示生成五个候选回复（generate_0至generate_4），每个回复包含内容和角色字段。这些回复经由概率（probability）和奖励模型分数（rm_scores）进行量化评估，以筛选出高质量样本。数据集共包含19,766条训练样本，以分片形式存储在train-*文件中，确保数据分布均匀且便于加载。

使用方法

使用该数据集时，可通过HuggingFace Datasets库直接加载，指定配置名为default，并从data/train-*路径读取训练分片。每条样本包含提示ID、原始提示、五个生成回复及其对应的概率与奖励分数。用户可根据任务需求选择特定字段：例如，利用prompt与generate系列字段进行监督式微调，或结合probability与rm_scores实施偏好学习。建议在加载后对概率和分数进行归一化处理，以适配不同优化目标。数据集大小约270 MB，适合在单机或分布式环境下高效处理。

背景与挑战

背景概述

该数据集由加州大学洛杉矶分校（UCLA）的人工智能通用智能（AGI）实验室于近期创建，旨在推动基于人类反馈的强化学习（RLHF）在大型语言模型（LLM）对齐中的优化。核心研究问题在于如何通过迭代式的自我对弈偏好优化（Self-Play Preference Optimization, SPPO）方法，提升模型对复杂指令的遵循能力与生成质量。数据集以Mistral-7B-Instruct模型为基础，通过多轮生成与奖励模型评分构建了包含近两万条训练样本的语料库，每条样本包含原始提示、多个候选生成结果及其对应的概率与奖励得分。这一资源为探索更高效、稳定的偏好对齐算法提供了关键基准，对强化学习与语言模型对齐领域的交叉研究具有重要推动作用。

当前挑战

当前数据集面临的主要挑战包括三个方面：其一，在领域问题层面，现有RLHF方法常受限于奖励模型的偏差与稀疏反馈，导致模型对齐效果不稳定，SPPO虽通过自我对弈缓解了部分问题，但如何进一步降低对大规模人工标注的依赖仍是核心难题；其二，在构建过程中，多轮生成与评分机制引入了计算开销与数据冗余，例如五个候选生成结果与概率序列的存储增加了处理复杂度，且奖励模型评分的一致性难以保证；其三，数据集的规模与多样性有限，仅包含近两万条样本，可能不足以覆盖复杂现实场景中的指令分布，模型泛化能力面临考验。

常用场景

经典使用场景

该数据集UCLA-AGI/data-mistral-7b-instruct-sppo-iter1专为偏好对齐与强化学习场景设计，其核心在于利用多组生成响应（generate_0至generate_4）及其对应的奖励模型评分（rm_scores）与概率分布（probability），对Mistral-7B-Instruct模型进行迭代式自我偏好优化（SPPO）。通过对比同一提示（prompt）下不同生成结果的质量，研究者可训练模型学习人类偏好，从而提升指令遵循能力与输出质量，是探索大语言模型与人类价值观对齐的经典数据资源。

解决学术问题

该数据集有效回应了语言模型在生成过程中偏离人类意图的学术难题。传统监督微调难以捕捉复杂偏好，而该数据通过引入多候选响应与奖励信号，支持基于偏好的策略优化，解决了模型输出与人类期待之间的鸿沟。其意义在于推动了从“模仿学习”向“偏好学习”的范式转变，为研究如何在无需人工标注的前提下利用模型自生成数据进行迭代改进提供了实证基础，显著影响了强化学习与自然语言处理交叉领域的研究方向。

实际应用

在实际应用中，该数据集可用于构建更安全、更可控的智能对话系统与内容生成工具。例如，通过SPPO算法微调后的模型能够更精准地拒绝不当请求、生成符合伦理规范的文本，或针对用户指令提供更周到的回答。这种偏好对齐技术可部署于客服机器人、教育辅导助手及创意写作辅助平台，在提升用户体验的同时降低有害输出风险，是商业化大语言模型落地前不可或缺的校准环节。

数据集最近研究

最新研究方向

该数据集聚焦于通过自我博弈偏好优化（Self-Play Preference Optimization, SPPO）方法迭代提升大语言模型的指令遵循能力。在强化学习与人类反馈（RLHF）技术持续演进的前沿，SPPO作为一种无需依赖昂贵人工标注的迭代对齐策略，正成为提升模型生成质量与安全性的重要方向。该数据集由Mistral-7B-Instruct模型经首轮SPPO训练后采样生成，包含近两万条提示及多个候选回答，并附有概率分布与奖励模型评分，为研究模型偏好建模、迭代自我改进以及无监督对齐提供了关键资源。其意义在于推动开源社区在弱监督条件下探索更高效、可扩展的模型优化路径，尤其契合当前对可控生成与价值对齐的热切关注。