OpenHermesPreferences：AI 偏好数据集

OpenHermesPreferences 数据集是由 Argilla 与 Hugging Face H4 团队协作创建的，包含约 100 万条 AI 偏好数据。该数据集基于 Teknium 的高质量 OpenHermes-2.5 数据集，融合了 Mixtral-8x7B-Instruct-v0.1 和 Nous-Hermes-2-Yi-34B 模型的反馈，采用 PairRM 模型对输出进行评分和排名。该数据集可用于训练偏好模型或通过直接偏好优化等技术对齐语言模型。

The OpenHermesPreferences dataset was collaboratively developed by the Argilla and Hugging Face H4 teams, containing approximately 1 million AI preference data samples. Built upon Teknium's high-quality OpenHermes-2.5 dataset, this dataset incorporates feedback from the Mixtral-8x7B-Instruct-v0.1 and Nous-Hermes-2-Yi-34B models, and utilizes the PairRM model to score and rank model outputs. It can be employed to train preference models or align large language models (LLMs) via techniques such as Direct Preference Optimization (DPO).

搜集汇总

背景与挑战

背景概述

OpenHermesPreferences是一个包含约100万条AI偏好数据的数据集，由Argilla与Hugging Face H4团队合作创建，基于OpenHermes-2.5数据集，融合了多个先进模型的反馈，适用于训练偏好模型或对齐语言模型。