hiyouga/DPO-En-Zh-20k

该数据集由四个不同的子数据集组成：1) 4,000个来自argilla/distilabel-capybara-dpo-7k-binarized的示例，筛选条件为chosen score>=4；2) 3,000个来自argilla/distilabel-intel-orca-dpo-pairs的示例，筛选条件为chosen score>=8；3) 3,000个来自argilla/ultrafeedback-binarized-preferences-cleaned的示例，筛选条件为chosen score>=4；4) 10,000个来自wenbopan/Chinese-dpo-pairs的示例。该数据集可以用于LLaMA Factory，并且提供了英文和中文两种语言的配置。

本数据集由四个独立子数据集构成：1) 选取自argilla/distilabel-capybara-dpo-7k-binarized的4000条示例，筛选条件为优选得分（chosen score）≥4；2) 选取自argilla/distilabel-intel-orca-dpo-pairs的3000条示例，筛选条件为优选得分（chosen score）≥8；3) 选取自argilla/ultrafeedback-binarized-preferences-cleaned的3000条示例，筛选条件为优选得分（chosen score）≥4；4) 选取自wenbopan/Chinese-dpo-pairs的10000条示例。本数据集可用于LLaMA Factory，且提供适配英文与中文两种语言的配置。

原始信息汇总

数据集概述

许可证

• Apache 2.0

任务类别

• 文本生成

语言

• 英语
• 中文

标签

• dpo
• orpo
• rlhf
• llama-factory

数据规模

• 10K<n<100K

配置

• 配置名称: en
  • 数据文件:
    • 分割: train
    • 路径: dpo_en.json
• 配置名称: zh
  • 数据文件:
    • 分割: train
    • 路径: dpo_zh.json

数据集信息

• 配置名称: en
  • 特征:
    • 名称: conversations
      • 列表:
        • 名称: from
          • 数据类型: string
        • 名称: value
          • 数据类型: string
    • 名称: chosen
      • 结构:
        • 名称: from
          • 数据类型: string
        • 名称: value
          • 数据类型: string
    • 名称: rejected
      • 结构:
        • 名称: from
          • 数据类型: string
        • 名称: value
          • 数据类型: string
• 配置名称: zh
  • 特征:
    • 名称: conversations
      • 列表:
        • 名称: from
          • 数据类型: string
        • 名称: value
          • 数据类型: string
    • 名称: chosen
      • 结构:
        • 名称: from
          • 数据类型: string
        • 名称: value
          • 数据类型: string
    • 名称: rejected
      • 结构:
        • 名称: from
          • 数据类型: string
        • 名称: value
          • 数据类型: string

搜集汇总

数据集介绍

构建方式

hiyouga/DPO-En-Zh-20k数据集的构建，采取了对多个来源的数据进行精选与整合的策略。具体而言，该数据集由四部分组成：argilla/distilabel-capybara-dpo-7k-binarized数据集中的4,000个示例（ chosen score>=4），argilla/distilabel-intel-orca-dpo-pairs的3,000个示例（chosen score>=8），argilla/ultrafeedback-binarized-preferences-cleaned的3,000个示例（chosen score>=4），以及wenbopan/Chinese-dpo-pairs的10,000个示例。这些数据经过严格的筛选，以确保质量与适用性。

特点

该数据集的特点在于其语言多样性及针对性的数据筛选标准。它包含英汉两种语言的数据，不仅适用于文本生成任务，还特别适用于对话系统中的Discourse-level Preference Ordering（DPO）任务。数据集通过选取高评分的对话示例，保证了数据的质量和实际应用中的有效性。

使用方法

在使用hiyouga/DPO-En-Zh-20k数据集时，用户可以根据具体的任务需求，通过LLaMA Factory框架指定使用`dataset: dpo_mix_en,dpo_mix_zh`。数据集以JSON格式存储，其中包含了对话、选中对话和拒绝对话的结构化信息，便于模型的训练和评估。

背景与挑战

背景概述

hiyouga/DPO-En-Zh-20k数据集，是在自然语言处理领域中，为促进对话生成任务的发展而构建的。该数据集由hiyouga团队于近期创建，汇集了来自多个源的数据，包括argilla/distilabel-capybara-dpo-7k-binarized、argilla/distilabel-intel-orca-dpo-pairs、argilla/ultrafeedback-binarized-preferences-cleaned以及wenbopan/Chinese-dpo-pairs，共计约20,000个示例。数据集以中英双语形式呈现，旨在为研究者提供多样化的语言资源，以训练和评估对话生成模型，对自然语言处理领域有着积极的推动作用。

当前挑战

该数据集在构建过程中面临的挑战主要涉及数据的质量控制和多样性保持。首先，确保所选取的对话数据具有较高的相关性，且在评分上达到一定标准，这对于模型训练至关重要。其次，数据集中英文的平衡和对等也是一大挑战，需保证两种语言的数据在内容和质量上的一致性。此外，该数据集在解决对话生成领域问题，如提高生成对话的自然性和连贯性方面，仍需进一步的模型优化和技术创新。

常用场景

经典使用场景

在自然语言处理领域中，hiyouga/DPO-En-Zh-20k数据集因其对话生成的特性而被广泛使用。该数据集提供了大量经过精心挑选的对话实例，使得研究者在构建对话系统时，能够有效模拟对话双方的行为，生成自然流畅的对话内容。

解决学术问题

该数据集解决了对话生成中如何保持对话连贯性及上下文相关性的难题，为学术研究提供了丰富的实验材料，有助于推动自然语言理解与生成技术的发展。此外，数据集的质量控制确保了研究结果的可靠性，为相关领域的学术探讨提供了坚实基础。

衍生相关工作

基于该数据集，研究者们已经衍生出一系列相关工作，如对话系统的优化、跨语言对话生成等领域的探索。这些工作不仅丰富了对话生成技术的理论体系，也为实际应用提供了更多的可能性，推动了自然语言处理技术的进步。