Locutusque/OpenCerebrum-dpo

OpenCerebrum是我尝试创建Aether Research专有Cerebrum数据集的开源版本。此存储库包含DPO子集，其中包含约21,000个示例。遗憾的是，我不确定如何将此数据集压缩到像原始Cerebrum数据集中的几百个示例。

原始信息汇总

OpenCerebrum DPO subset 数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 文本生成
• 语言: 英语
• 数据集大小: 10K<n<100K（约21,000个示例）

描述

OpenCerebrum DPO subset 是 OpenCerebrum 项目的一部分，旨在创建一个开源版本的 Aether Research 的 Cerebrum 数据集。该子集包含约21,000个示例，主要用于文本生成任务。

数据集精选

数据集的精选基于一个简单而逻辑的原理，旨在使用能够提升原始 Cerebrum 数据集在评估分数上的优势的数据集。

数据来源

该数据集整合了以下来源的数据：

• jondurbin/truthy-dpo-v0.1
• jondurbin/py-dpo-v0.1
• argilla/dpo-mix-7k
• argilla/distilabel-math-preference-dpo
• Locutusque/arc-cot-dpo
• Doctor-Shotgun/theory-of-mind-dpo

搜集汇总

背景与挑战

背景概述

OpenCerebrum-dpo 是一个用于文本生成的DPO（直接偏好优化）训练数据集，包含约21,000个示例，旨在创建开源版本的Cerebrum数据集以提升模型评估分数。该数据集通过整合多个来源（如jondurbin/truthy-dpo-v0.1等）构建，内容涵盖数学、编程和推理等多种主题，提供成对的文本数据（chosen和rejected）以支持偏好学习。