catallama/Catalan-DPO-V2

Catalan DPO V2数据集包含23.5k个样本偏好，比Catalan DPO V1数据集多出约70%。数据集由合成生成的数据和公共偏好数据集组成，包括argilla-orca、argilla-capybara和通过catallama/CataLlama-v0.2-Instruct-SFT模型生成的数据。数据集的语言主要为加泰罗尼亚语（40%）和英语（60%），并且只包含一个训练集分割。

The Catalan DPO V2 Dataset contains 23.5k sample preferences, which is roughly 70% more than the Catalan DPO V1 dataset. The dataset comprises of synthetically generated data and public preferences datasets: argilla-orca: 9.5k preferences sampled from argilla/distilabel-intel-orca-dpo-pairs, out of which 50% were translated to Catalan; argilla-capybara: 7.2k preferences sampled from argilla/Capybara-Preferences-Filtered; 6.8k preferences generated synthetically by inferencing catallama/CataLlama-v0.2-Instruct-SFT and scoring the results with RLHFlow/ArmoRM-Llama3-8B-v0.1. The dataset is in Catalan (40%) and English (60%), and contains one train split.

原始信息汇总

数据集概述

数据集名称

Catalan DPO V2

数据集大小

• 样本数量：23,503
• 数据大小：85,381,939 字节
• 下载大小：49,394,615 字节

数据集结构

特征

• messages
  • content: 字符串类型
  • role: 字符串类型
• chosen: 字符串类型
• rejected: 字符串类型

数据分割

• train: 包含 23,503 个样本，85,381,939 字节

数据来源

• argilla-orca: 9,500 个偏好样本，其中 50% 翻译为加泰罗尼亚语
• argilla-capybara: 7,200 个偏好样本
• 合成数据：6,800 个偏好样本，通过推理 catallama/CataLlama-v0.2-Instruct-SFT 生成，并使用 RLHFlow/ArmoRM-Llama3-8B-v0.1 评分

语言分布

• 加泰罗尼亚语 (ca-ES): 40%
• 英语 (en-US): 60%

任务类别

• 文本生成

标签

• 加泰罗尼亚语

许可证

Apache 2.0

搜集汇总

数据集介绍

构建方式

Catalán-DPO-V2数据集专为偏好对齐任务设计，其构建融合了合成数据与公开偏好数据集。具体而言，从argilla/distilabel-intel-orca-dpo-pairs中采样9.5k偏好对，其中50%被翻译为加泰罗尼亚语；从argilla/Capybara-Preferences-Filtered中选取7.2k偏好对；此外，通过推理catallama/CataLlama-v0.2-Instruct-SFT模型生成6.8k样本，并利用RLHFlow/ArmoRM-Llama3-8B-v0.1评分器进行偏好标注，最终形成约23.5k条偏好记录。

特点

该数据集包含单一训练集，总计23.5k样本，较V1版本数据量提升约70%。语言构成上，加泰罗尼亚语占40%，英语占60%，体现了多语言混合特性。每条样本包含messages字段（含content与role）、chosen与rejected字段，分别存储偏好对中的胜出与失利回复，结构清晰，适配DPO等偏好优化算法。数据集采用Apache-2.0许可协议，便于学术与商业使用。

使用方法

数据集通过HuggingFace Datasets库加载，默认配置为train分割，数据文件位于data/train-*路径。用户可直接调用load_dataset('catallama/Catalan-DPO-V2')获取数据，适用于文本生成与偏好对齐任务。建议结合Transformers库中的DPOTrainer进行模型微调，利用chosen与rejected字段计算偏好损失，或使用messages字段进行多轮对话训练。数据以字符串格式存储，需按任务需求进行tokenization与批处理。

背景与挑战

背景概述

在自然语言处理领域，低资源语言的模型对齐研究长期面临数据匮乏的困境，尤其是加泰罗尼亚语这类使用人口有限但文化价值深厚的语言。为突破这一瓶颈，catallama团队于近期推出了Catalan DPO V2数据集，该数据集由加泰罗尼亚语模型研究机构catallama主导构建，旨在通过偏好对齐技术提升加泰罗尼亚语大语言模型的指令遵循能力。数据集包含约2.35万条偏好样本，较初代版本增长70%，其核心研究问题聚焦于如何利用合成数据与跨语言迁移策略，在资源受限条件下构建高质量的对齐语料。该数据集的出现为加泰罗尼亚语模型的强化学习与人类反馈优化提供了关键基础，显著推动了该语言在生成式AI领域的实用化进程。

当前挑战

当前数据集面临的挑战主要体现在两个维度。在领域问题层面，加泰罗尼亚语作为低资源语言，其偏好对齐任务缺乏足够的高质量标注数据与评测基准，模型在文化特定表达、成语理解及细粒度语义偏好上易出现偏差，直接复用英语偏好数据可能导致跨语言迁移中的语义失真。在构建过程中，团队需平衡合成数据与翻译数据的质量——从argilla-orca和argilla-capybara等英语数据集中采样后，仅50%的样本被翻译为加泰罗尼亚语，翻译准确性受限于机器翻译系统的性能；同时，利用CataLlama-v0.2-Instruct-SFT模型生成的6.8k条合成偏好数据，其评分依赖RLHFlow/ArmoRM-Llama3-8B-v0.1这一英语偏好模型，跨语言评分一致性尚需验证。此外，数据集中英语与加泰罗尼亚语样本比例为6:4，语言分布不均可能影响模型对加泰罗尼亚语的专注度，且仅有训练集而无验证集，增加了过拟合风险评估的难度。

常用场景

经典使用场景

Catalan DPO V2数据集专为加泰罗尼亚语的文本生成任务而设计，尤其适用于基于人类偏好对齐的语言模型微调。其经典使用场景在于通过直接偏好优化（DPO）方法，利用约2.35万条偏好样本对大型语言模型进行偏好对齐训练，以提升模型在加泰罗尼亚语环境下的生成质量与指令遵循能力。该数据集融合了来自公开偏好数据集（如argilla-orca和argilla-capybara）的英加双语样本，以及通过自生成与评分机制构建的合成数据，为加泰罗尼亚语模型的偏好学习提供了丰富且多样化的训练素材。

解决学术问题

该数据集有效解决了低资源语言（如加泰罗尼亚语）在偏好对齐研究中数据匮乏的困境。在学术研究中，语言模型的偏好对齐通常依赖大规模英文偏好数据，而小语种因缺乏标注数据而难以开展相关研究。Catalan DPO V2通过数据增强、翻译与合成生成策略，构建了首个较大规模的加泰罗尼亚语偏好数据集，为探索多语言偏好对齐、跨语言迁移学习以及低资源场景下的DPO训练提供了关键支撑，推动了多语言自然语言处理领域的公平性与包容性发展。

衍生相关工作

Catalan DPO V2的构建方法论催生了一系列后续研究。其数据合成流程——利用大型语言模型生成候选回复，再通过奖励模型进行评分筛选——已成为低资源语言偏好数据集构建的范本。相关工作包括基于该数据集微调的加泰罗尼亚语DPO模型（如CataLlama系列），以及在此基础上开发的加泰罗尼亚语指令微调与对齐方法。此外，该数据集还启发了针对其他罗曼语族小语种（如巴斯克语、加利西亚语）的偏好数据集构建工作，推动了多语言偏好对齐研究的系统化发展。