catallama/Catalan-DPO-V2

Catalan DPO V2数据集包含23.5k个样本偏好，比Catalan DPO V1数据集多出约70%。数据集由合成生成的数据和公共偏好数据集组成，包括argilla-orca、argilla-capybara和通过catallama/CataLlama-v0.2-Instruct-SFT模型生成的数据。数据集的语言主要为加泰罗尼亚语（40%）和英语（60%），并且只包含一个训练集分割。

The Catalan DPO V2 Dataset contains 23.5k sample preferences, which is roughly 70% more than the Catalan DPO V1 dataset. The dataset comprises of synthetically generated data and public preferences datasets: argilla-orca: 9.5k preferences sampled from argilla/distilabel-intel-orca-dpo-pairs, out of which 50% were translated to Catalan; argilla-capybara: 7.2k preferences sampled from argilla/Capybara-Preferences-Filtered; 6.8k preferences generated synthetically by inferencing catallama/CataLlama-v0.2-Instruct-SFT and scoring the results with RLHFlow/ArmoRM-Llama3-8B-v0.1. The dataset is in Catalan (40%) and English (60%), and contains one train split.

原始信息汇总

数据集概述

数据集名称

Catalan DPO V2

数据集大小

• 样本数量：23,503
• 数据大小：85,381,939 字节
• 下载大小：49,394,615 字节

数据集结构

特征

• messages
  • content: 字符串类型
  • role: 字符串类型
• chosen: 字符串类型
• rejected: 字符串类型

数据分割

• train: 包含 23,503 个样本，85,381,939 字节

数据来源

• argilla-orca: 9,500 个偏好样本，其中 50% 翻译为加泰罗尼亚语
• argilla-capybara: 7,200 个偏好样本
• 合成数据：6,800 个偏好样本，通过推理 catallama/CataLlama-v0.2-Instruct-SFT 生成，并使用 RLHFlow/ArmoRM-Llama3-8B-v0.1 评分

语言分布

• 加泰罗尼亚语 (ca-ES): 40%
• 英语 (en-US): 60%

任务类别

• 文本生成

标签

• 加泰罗尼亚语

许可证

Apache 2.0