vwxyzjn/openhermes-dev__mistralai_Mixtral-8x7B-Instruct-v0.1__1706887192

--- dataset_info: features: - name: id dtype: string - name: skip_prompt_formatting dtype: bool - name: views dtype: 'null' - name: topic dtype: 'null' - name: source dtype: string - name: idx dtype: string - name: category dtype: string - name: avatarUrl dtype: 'null' - name: language dtype: 'null' - name: system_prompt dtype: 'null' - name: model dtype: 'null' - name: model_name dtype: 'null' - name: title dtype: 'null' - name: hash dtype: 'null' - name: conversations list: - name: from dtype: string - name: value dtype: string - name: weight dtype: float64 - name: custom_instruction dtype: 'null' - name: prompt dtype: string - name: chosen_policy dtype: string - name: chosen list: - name: content dtype: string - name: role dtype: string - name: rejected list: - name: content dtype: string - name: role dtype: string - name: rejected_policy dtype: string splits: - name: train_prefs num_bytes: 2885115 num_examples: 385 - name: test_prefs num_bytes: 152890 num_examples: 20 download_size: 1749206 dataset_size: 3038005 configs: - config_name: default data_files: - split: train_prefs path: data/train_prefs-* - split: test_prefs path: data/test_prefs-* ---数据集信息： 特征： - 标识符（id）：数据类型为字符串 - 跳过提示词格式化（skip_prompt_formatting）：数据类型为布尔值 - 浏览量（views）：数据类型为空（null） - 主题（topic）：数据类型为空（null） - 来源（source）：数据类型为字符串 - 索引（idx）：数据类型为字符串 - 分类（category）：数据类型为字符串 - 头像URL（avatarUrl）：数据类型为空（null） - 语言（language）：数据类型为空（null） - 系统提示词（system_prompt）：数据类型为空（null） - 模型（model）：数据类型为空（null） - 模型名称（model_name）：数据类型为空（null） - 标题（title）：数据类型为空（null） - 哈希值（hash）：数据类型为空（null） - 对话列表（conversations）：列表类型，内部元素包含： - 发言者来源（from）：数据类型为字符串 - 对话内容（value）：数据类型为字符串 - 权重（weight）：数据类型为64位浮点型（float64） - 自定义指令（custom_instruction）：数据类型为空（null） - 提示词（prompt）：数据类型为字符串 - 首选策略（chosen_policy）：数据类型为字符串 - 首选对话（chosen）：列表类型，内部元素包含： - 内容（content）：数据类型为字符串 - 角色（role）：数据类型为字符串 - 被拒对话（rejected）：列表类型，内部元素包含： - 内容（content）：数据类型为字符串 - 角色（role）：数据类型为字符串 - 被拒策略（rejected_policy）：数据类型为字符串 数据集划分： - 训练偏好集（train_prefs）：占用字节数为2885115，样本数量为385 - 测试偏好集（test_prefs）：占用字节数为152890，样本数量为20 下载总大小为1749206，数据集总存储大小为3038005 配置项： - 配置名称：默认配置（default），数据文件对应关系： - 训练偏好集（train_prefs）对应数据路径：data/train_prefs-* - 测试偏好集（test_prefs）对应数据路径：data/test_prefs-*

原始信息汇总

数据集概述

数据集特征

• id: 字符串类型
• skip_prompt_formatting: 布尔类型
• views: 空类型
• topic: 空类型
• source: 字符串类型
• idx: 字符串类型
• category: 字符串类型
• avatarUrl: 空类型
• language: 空类型
• system_prompt: 空类型
• model: 空类型
• model_name: 空类型
• title: 空类型
• hash: 空类型
• conversations: 列表类型
  • from: 字符串类型
  • value: 字符串类型
  • weight: 浮点数类型
• custom_instruction: 空类型
• prompt: 字符串类型
• chosen_policy: 字符串类型
• chosen: 列表类型
  • content: 字符串类型
  • role: 字符串类型
• rejected: 列表类型
  • content: 字符串类型
  • role: 字符串类型
• rejected_policy: 字符串类型

数据集分割

• train_prefs:
  • 字节数: 2885115
  • 样本数: 385
• test_prefs:
  • 字节数: 152890
  • 样本数: 20

数据集大小

• 下载大小: 1749206 字节
• 数据集大小: 3038005 字节

配置

• default:
  • train_prefs: 路径为 data/train_prefs-*
  • test_prefs: 路径为 data/test_prefs-*

搜集汇总

数据集介绍

构建方式

在大型语言模型对齐优化领域，偏好数据集的构建是强化学习从人类反馈（RLHF）中的关键环节。该数据集源自OpenHermes开发集，通过引入Mistral AI的Mixtral-8x7B-Instruct-v0.1模型进行推理生成，构建了一套包含偏好标注的对话数据。具体而言，数据集以对话形式组织，每条样本包含用户提示（prompt）、模型生成的被采纳回复（chosen）与被拒绝回复（rejected），并附有相应的策略标签（chosen_policy和rejected_policy），从而形成明确的偏好对。数据共划分为训练集（385条）和测试集（20条），以支持模型偏好学习任务的训练与评估。

使用方法

使用该数据集时，推荐将其加载为Hugging Face的Dataset对象，通过指定配置名“default”即可获取训练与测试分片。在应用场景中，研究者可直接利用“prompt”、“chosen”和“rejected”字段构造偏好损失函数，例如在DPO或RRHF训练框架中作为输入。由于数据已预先划分好“train_prefs”和“test_prefs”分片，用户无需额外进行数据切分。建议在处理时注意对话字段的嵌套结构，正确解析“conversations”列表中的多轮对话内容，以充分发挥其在对话模型对齐训练中的价值。

背景与挑战

背景概述

在大型语言模型（LLM）领域，基于人类偏好对齐的微调方法（如RLHF）已成为提升模型生成质量的关键技术。2024年初，由vwxyzjn团队与Mistral AI合作构建的OpenHermes偏好数据集应运而生，其核心研究问题在于如何通过高质量的偏好数据引导Mixtral-8x7B-Instruct模型更精准地遵循指令。该数据集包含385条训练样本与20条测试样本，每条数据均标注了chosen（优选回答）与rejected（次优回答）策略，为直接偏好优化（DPO）等算法提供了标准化训练基准。作为开源社区的重要贡献，它填补了混合专家模型（MoE）在偏好对齐领域的空白，推动了多模态语言模型向更可控、更安全的方向演进。

当前挑战

当前该数据集面临多重挑战。首先，在领域问题上，偏好数据集的规模（仅405条样本）远小于传统监督微调数据集，这导致模型在复杂场景下可能因数据稀疏性而产生偏好漂移，难以稳定泛化至未见过的指令类型。其次，构建过程中，人工标注的chosen/rejected对存在主观偏差风险，例如不同标注者对回答质量的评判标准不一致，可能引入噪声；同时，数据集中部分字段（如avatarUrl、model）为空，暴露出元数据不完整的问题，这限制了研究者对数据来源与模型行为的因果分析。最后，作为基于单一模型（Mixtral-8x7B）生成的偏好数据，其间接性可能使其他架构的模型在迁移学习时面临分布外挑战。

常用场景

经典使用场景

在自然语言处理与强化学习交叉领域，该数据集作为偏好对齐任务的基准资源，被广泛用于训练和评估基于人类反馈的强化学习（RLHF）模型。其核心设计围绕对话式指令遵循场景，包含由Mixtral-8x7B-Instruct模型生成的‘chosen’与‘rejected’成对回答，为优化策略模型提供明确的偏好信号。研究者常将其作为微调大语言模型以提升其与人类价值观对齐程度的标准测试平台，尤其在处理开放域对话生成时，用以衡量模型在安全性、有用性和诚实性方面的表现。

解决学术问题

该数据集直面大语言模型在生成内容时与人类期望存在偏差的学术挑战，通过提供细粒度的偏好标注数据，解决了传统监督微调难以捕捉主观价值评判的困境。它使得研究者能够系统性地探究奖励建模、策略优化与泛化能力之间的内在关联，推动了从‘模仿学习’向‘价值对齐学习’的范式转变。其贡献在于为RLHF领域提供了一个可复现、低噪声的标准化评估集，从而加速了关于偏好噪声影响、多目标优化以及跨领域迁移等核心理论问题的实证研究。

实际应用

在实际工业部署中，该数据集赋能了对话助手的可控生成能力，使企业能够基于用户偏好调整模型输出风格与内容边界。例如，在客服系统中，可利用其偏好数据训练模型优先选择更礼貌、信息更准确的回复；在教育辅助场景中，则能引导模型避免提供误导性信息。此外，该数据集还为内容审核工具的开发提供了训练素材，帮助构建能够自动区分高质量与低质量交互的过滤机制，显著提升了人机交互系统的用户体验与可靠性。

数据集最近研究

最新研究方向

该数据集聚焦于大语言模型在偏好对齐领域的应用，特别是通过对比学习优化模型输出与人类价值观的一致性。近期研究前沿围绕Mixtral-8x7B Instruct v0.1这一混合专家模型展开，探讨如何利用高质量偏好数据（如本数据集中的chosen/rejected对话对）改进强化学习从人类反馈（RLHF）的采样效率与泛化能力。与OpenHermes社区的开源协作趋势相呼应，此类数据集正推动指令微调从单一监督学习向多目标偏好优化演进，其影响体现在降低对齐成本、提升模型在复杂推理任务中的鲁棒性，并为构建更安全的对话系统提供了可复现的评估基准。