2A2I/Aya-Aya.23.8B-DPO

Aya-Aya.23.8B-DPO数据集是一个用于提升阿拉伯语NLP性能的DPO数据集。它通过比较人类生成的响应（标记为chosen）和AI生成的响应（标记为rejected），帮助改进阿拉伯语语言模型，使其生成更接近人类且上下文更合适的响应。数据集支持现代标准阿拉伯语（MSA），并遵循Apache-2.0许可。该数据集可用于训练和评估阿拉伯语NLP模型，特别是在需要细致语言理解和生成的任务中。

原始信息汇总

数据集概述

数据集基本信息

• 名称: Aya-Aya.23.8B-DPO
• 语言: 现代标准阿拉伯语 (MSA)
• 许可证: Apache-2.0
• 维护者: Ali Elfilali 和 Mohammed Machrouh

数据集特征

• id: 整数类型 (int64)
• prompt: 字符串类型 (string)
• chosen:
  • content: 字符串类型 (string)
  • role: 字符串类型 (string)
• rejected:
  • content: 字符串类型 (string)
  • role: 字符串类型 (string)
• model: 字符串类型 (string)

数据集拆分

• 训练集:
  • 大小: 11239886 字节
  • 示例数量: 13960

数据集大小与下载大小

• 下载大小: 5134375 字节
• 数据集大小: 11239886 字节

数据集配置

• 默认配置:
  • 数据文件:
    • 拆分: 训练
    • 路径: data/train-*

数据集用途

Aya-Aya.23.8B-DPO 是一个用于比较人类生成响应（标记为“chosen”）与AI生成响应（标记为“rejected”）的DPO数据集，旨在通过指导AI模型产生更类似于人类且上下文适当的响应，来提高阿拉伯语自然语言处理（NLP）模型的性能。

数据集使用

该数据集可用于训练和评估阿拉伯语NLP模型，特别是在需要细致语言理解和生成的任务中。通过使用此数据集，研究人员和开发者可以改进AI模型，以更好地区分高质量、类人响应与效果较差的AI生成响应，从而产生更准确和上下文相关的语言模型。