2A2I/Aya-AceGPT.13B.Chat-DPO

Aya-AceGPT.13B.Chat-DPO是一个用于阿拉伯语自然语言处理（NLP）的DPO数据集，旨在通过比较人类生成的响应（标记为chosen）和AI生成的响应（标记为rejected）来改进阿拉伯语语言模型的性能。该数据集来源于阿拉伯语Aya数据集的一个子集，语言为现代标准阿拉伯语（MSA），并采用Apache-2.0许可证。数据集可用于训练和评估阿拉伯语NLP模型，特别是在需要细致语言理解和生成的任务中。通过使用该数据集，研究人员和开发者可以优化AI模型，使其能够更好地区分高质量的人类响应和低效的AI生成响应，从而生成更准确和上下文相关的语言模型。

原始信息汇总

数据集概述

数据集名称

• 名称: Aya-AceGPT.13B.Chat-DPO

数据集特征

• 特征列表:
  • id: 数据类型为int64
  • prompt: 数据类型为string
  • chosen: 包含两个子特征
    • content: 数据类型为string
    • role: 数据类型为string
  • rejected: 包含两个子特征
    • content: 数据类型为string
    • role: 数据类型为string
  • model: 数据类型为string

数据集分割

• 训练集:
  • num_bytes: 11127779
  • num_examples: 12960

数据集大小

• 下载大小: 5321948
• 数据集大小: 11127779

许可证

• 许可证: Apache-2.0

语言

• 语言: Modern Standard Arabic (MSA)

标签

• 标签:
  • dpo
  • orpo

数据集用途

• 目的: 用于比较人类生成的"chosen"响应与AI生成的"rejected"响应，以提升阿拉伯语自然语言处理模型的性能。

数据集使用

• 使用: 可用于训练和评估阿拉伯语自然语言处理模型，特别是在需要细致语言理解和生成的任务中。

数据集加载

• 加载方式: 使用HuggingFace的datasets库加载，示例代码如下： python from datasets import load_dataset

  dataset = load_dataset("2A2I/Aya-AceGPT.13B.Chat-DPO")