arcee-ai/OpenHermesPreferences-binarized

--- dataset_info: features: - name: prompt dtype: string - name: chosen list: - name: content dtype: string - name: role dtype: string - name: rejected list: - name: content dtype: string - name: role dtype: string splits: - name: train num_bytes: 3925868587 num_examples: 989490 download_size: 2036458464 dataset_size: 3925868587 configs: - config_name: default data_files: - split: train path: data/train-* license: other language: - en tags: - dpo - orpo - synthetic - distilabel size_categories: - 100K<n<1M --- **OpenHermesPreferences** is a dataset of **~1 million** AI preferences derived from `teknium/OpenHermes-2.5`. It combines responses from the source dataset with those from two other models, `Mixtral-8x7B-Instruct-v0.1` and `Nous-Hermes-2-Yi-34B`, and uses `PairRM` as the preference model to score and rank the generations. The dataset can be used for training preference models or aligning language models through techniques like Direct Preference Optimization. Reference: https://huggingface.co/datasets/argilla/OpenHermesPreferences?row=0数据集信息： 特征： - 名称：prompt（提示词），数据类型：字符串 - 名称：chosen（选中回复），为列表类型，包含： - 名称：content（内容），数据类型：字符串 - 名称：role（角色），数据类型：字符串 - 名称：rejected（被拒绝回复），为列表类型，包含： - 名称：content（内容），数据类型：字符串 - 名称：role（角色），数据类型：字符串 数据集划分： - 名称：训练集（train），字节数：3925868587，示例数量：989490 下载大小：2036458464 数据集总大小：3925868587 配置项： - 配置名称：default（默认配置），数据文件： - 训练集划分对应路径：data/train-* 许可证：其他 语言：英语 标签： - DPO (Direct Preference Optimization，直接偏好优化) - ORPO (Odds Ratio Preference Optimization，赔率比偏好优化) - 合成（synthetic） - distilabel 规模类别：100K < 样本数量 < 1M **OpenHermes偏好数据集（OpenHermesPreferences）** 是一个源自`teknium/OpenHermes-2.5`的、包含约100万条AI偏好标注的数据集。 它将源数据集的回复与另外两个模型`Mixtral-8x7B-Instruct-v0.1`和`Nous-Hermes-2-Yi-34B`的生成回复进行整合，并以`PairRM`作为偏好评分模型，对生成结果进行打分与排序。该数据集可用于训练偏好模型，或通过直接偏好优化（Direct Preference Optimization，DPO）等技术实现大语言模型的对齐。 参考文献：https://huggingface.co/datasets/argilla/OpenHermesPreferences?row=0

原始信息汇总

数据集概述

数据集信息

• 名称: OpenHermesPreferences
• 大小: 约100万条AI偏好数据
• 来源: 基于teknium/OpenHermes-2.5，结合Mixtral-8x7B-Instruct-v0.1和Nous-Hermes-2-Yi-34B模型的响应
• 用途: 用于训练偏好模型或通过直接偏好优化等技术对语言模型进行对齐

数据集特征

• prompt: 字符串类型
• chosen:
  • content: 字符串类型
  • role: 字符串类型
• rejected:
  • content: 字符串类型
  • role: 字符串类型

数据集分割

• train:
  • 数据量: 989490个示例
  • 存储大小: 3925868587字节

数据集大小

• 下载大小: 2036458464字节
• 数据集大小: 3925868587字节

语言

• 主要语言: 英语

标签

• dpo
• orpo
• synthetic
• distilabel

许可证

• 类型: 其他

大小分类

• 范围: 100K<n<1M

搜集汇总

背景与挑战

背景概述

该数据集是一个包含约98.9万行样本的大规模AI偏好数据集，源自OpenHermes-2.5并整合了其他模型的响应，使用PairRM偏好模型进行评分和排序。其核心特点是包含prompt、chosen和rejected三元组结构，适用于训练偏好模型或通过直接偏好优化等技术对齐语言模型，以提升AI系统的响应质量。