Aditya685/hermes_preference_filtered_data

--- dataset_info: features: - name: source dtype: string - name: category dtype: string - name: prompt dtype: string - name: candidates_completions sequence: string - name: candidate_policies sequence: string - name: ranks sequence: int64 - name: rank_str dtype: string - name: chosen_policy dtype: string - name: chosen list: - name: content dtype: string - name: role dtype: string - name: rejected_policy dtype: string - name: rejected list: - name: content dtype: string - name: role dtype: string splits: - name: train num_bytes: 575305617.1181396 num_examples: 78377 download_size: 273518777 dataset_size: 575305617.1181396 configs: - config_name: default data_files: - split: train path: data/train-* --- # Dataset Card for "hermes_preference_filtered_data" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)--- 数据集信息： 特征项： - 名称：来源（source），数据类型：字符串 - 名称：类别（category），数据类型：字符串 - 名称：提示词（prompt），数据类型：字符串 - 名称：候选补全（candidates_completions），数据类型：字符串序列 - 名称：候选策略（candidate_policies），数据类型：字符串序列 - 名称：排序（ranks），数据类型：64位整型序列 - 名称：排序字符串（rank_str），数据类型：字符串 - 名称：选中策略（chosen_policy），数据类型：字符串 - 名称：选中对话（chosen），采用列表结构，包含以下子字段： - 名称：内容（content），数据类型：字符串 - 名称：角色（role），数据类型：字符串 - 名称：拒绝策略（rejected_policy），数据类型：字符串 - 名称：拒绝对话（rejected），采用列表结构，包含以下子字段： - 名称：内容（content），数据类型：字符串 - 名称：角色（role），数据类型：字符串 划分集： - 划分名称：训练集（train），占用字节数：575305617.1181396，样本总数：78377 下载大小：273518777字节，数据集总大小：575305617.1181396字节 配置项： - 配置名称：默认（default），数据文件： - 对应训练集划分，路径：data/train-* --- # "hermes_preference_filtered_data" 数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: hermes_preference_filtered_data

数据集特征

• 特征列表:
  • source: 字符串类型
  • category: 字符串类型
  • prompt: 字符串类型
  • candidates_completions: 字符串序列类型
  • candidate_policies: 字符串序列类型
  • ranks: 整数序列类型
  • rank_str: 字符串类型
  • chosen_policy: 字符串类型
  • chosen:
    • content: 字符串类型
    • role: 字符串类型
  • rejected_policy: 字符串类型
  • rejected:
    • content: 字符串类型
    • role: 字符串类型

数据集划分

• 划分:
  • train:
    • 示例数量: 78377
    • 数据大小: 575305617.1181396 字节

数据集大小

• 下载大小: 273518777 字节
• 数据集大小: 575305617.1181396 字节

配置

• 配置名称: default
• 数据文件:
  • train: data/train-*

搜集汇总

数据集介绍

构建方式

该数据集名为Aditya685/hermes_preference_filtered_data，源自对Hermes模型偏好数据的精炼与筛选。在构建过程中，首先从原始交互数据中提取包含源信息、类别、提示词及多个候选回复的样本，每个候选回复均附有对应的策略标签与人工或自动排序的等级。随后，依据排序结果明确区分出被选中的偏好回复与被拒绝的回复，并分别记录其内容与角色，从而形成结构化的偏好对。最终经过过滤与标准化处理，得到包含78,377条训练样本的高质量数据集。

特点

该数据集的核心特点在于其精细的偏好标注结构。每条样本不仅包含提示词与多个候选完成项，还通过整数等级与字符串形式的排序标签量化了偏好程度，并明确标识出被选中的策略与内容以及被拒绝的策略与内容。这种设计使得模型能够清晰学习到何种回复更符合人类偏好。此外，数据集保留了来源与类别信息，便于进行领域特定的偏好分析，为强化学习与偏好优化任务提供了可靠的数据基础。

使用方法

使用该数据集时，可直接加载默认配置下的训练集，其以Parquet格式存储于data/train-*路径下。研究者可将排名最高的chosen字段作为正样本，rejected字段作为负样本，用于训练偏好模型或进行直接偏好优化。亦可通过ranks字段获取全部候选的排序信息，以支持更复杂的排序学习方法。数据集结构清晰，字段命名直观，便于集成到主流深度学习框架中，适用于对话系统、文本生成等场景的偏好对齐训练。

背景与挑战

背景概述

在大型语言模型（LLM）快速演进的浪潮中，如何通过人类反馈进行偏好对齐以提升模型的安全性与实用性，已成为该领域核心研究课题之一。Aditya685/hermes_preference_filtered_data数据集由研究人员Aditya685于近期创建，旨在为偏好学习提供经过筛选的高质量训练样本。该数据集聚焦于多轮对话场景下的偏好排序，包含约7.8万条训练实例，每条数据涵盖源信息、类别、提示词以及多个候选回答及其对应的策略与排名。通过引入“chosen”与“rejected”字段，数据集明确标注了符合人类偏好的最佳回答与被拒绝的回答，为强化学习从人类反馈（RLHF）方法提供了关键支撑。该数据集的发布不仅为偏好对齐研究注入了新的数据资源，也推动了对话系统在可控性与价值观对齐方面的探索。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：偏好对齐要求模型在开放域对话中精准捕捉人类价值观的细微差异，而不同用户群体对回答的偏好可能存在显著分歧，这使得从单一数据集中学习通用偏好成为难题。其次，在构建过程中，数据筛选与标注的一致性构成了严峻考验。尽管数据集已通过过滤机制剔除低质量样本，但如何确保不同标注者对“chosen”与“rejected”的判断标准高度统一，避免主观偏见引入噪声，仍是数据质量控制的核心难点。此外，候选回答的多样性策略（如安全性、帮助性、诚实性）之间的平衡难以量化，导致偏好排序的边界模糊，进而影响模型训练的有效性与泛化能力。

常用场景

经典使用场景

在大型语言模型的对齐优化研究中，Aditya685/hermes_preference_filtered_data 数据集为基于人类偏好反馈的强化学习（RLHF）提供了高质量的训练素材。该数据集收录了涵盖多类别指令的提示词及其对应的候选回答，并附有基于特定策略的偏好排序标签，使得研究者能够利用其中“被采纳”与“被拒绝”的成对回答，训练奖励模型或直接优化策略模型，从而提升模型生成内容与人类价值观的契合度。

衍生相关工作

该数据集衍生出的经典工作包括基于对比学习的偏好蒸馏方法，以及将多策略偏好排序转化为连续奖励信号的算法框架。此外，有研究者利用该数据构建了多轮对话中的策略动态调整模型，通过分析不同策略在偏好排序中的分布特征，实现了对模型生成行为的细粒度控制，这些工作进一步拓展了偏好数据在语言模型安全对齐与个性化解耦中的研究边界。

数据集最近研究

最新研究方向

在大语言模型对齐与偏好优化的前沿探索中，该数据集聚焦于基于人类反馈的强化学习（RLHF）与直接偏好优化（DPO）等核心技术。通过提供包含多候选回复、对应策略及排序标签的结构化偏好数据，它支持研究者深入挖掘模型在复杂对话场景中的行为偏好差异，从而推动更精细化的模型微调与安全对齐策略。围绕这一方向，近期研究热点集中于如何利用此类细粒度偏好数据缓解模型偏见、提升指令遵循能力，并探索跨领域迁移的鲁棒性。该数据集的出现为构建更符合人类价值观的对话系统提供了关键资源，其多维度标注信息有助于揭示模型决策的内在机理，对实现人工智能的安全可控发展具有重要理论与实践意义。