pythainlp/oasst2_dpo_pairs_enth

该数据集包含消息ChatML，是从Open Assistant Conversations Dataset Release 2 (OASST2)创建的。可以用于人类偏好优化（如DPO, ORPO等）。数据集支持英语和泰语，并提供了如何筛选特定语言数据的示例代码。数据集的特征包括prompt_id、prompt、messages、chosen、rejected、score_chosen、score_rejected和lang等。数据集的大小为1K<n<10K，适用于文本生成任务。

This dataset contains message ChatML. It was created from Open Assistant Conversations Dataset Release 2 (OASST2). You can use it to do human preference optimization (DPO, ORPO, and other). The dataset supports English and Thai, and provides example code on how to filter data for specific languages. The features of the dataset include prompt_id, prompt, messages, chosen, rejected, score_chosen, score_rejected, and lang. The size of the dataset is 1K<n<10K, and it is suitable for text generation tasks.

原始信息汇总

数据集概述

数据集信息

特征

• prompt_id: 字符串类型
• prompt: 字符串类型
• messages: 列表类型
  • content: 字符串类型
  • role: 字符串类型
• chosen: 列表类型
  • content: 字符串类型
  • role: 字符串类型
• rejected: 列表类型
  • content: 字符串类型
  • role: 字符串类型
• score_chosen: 浮点数类型
• score_rejected: 浮点数类型
• lang: 字符串类型

分割

• train:
  • 字节数: 21542289
  • 样本数: 5277

大小

• 下载大小: 12274418
• 数据集大小: 21542289

配置

• default:
  • 数据文件:
    • train: data/train-*

许可

• apache-2.0

任务类别

• 文本生成

语言

• 英语
• 泰语

标签

• dpo
• orpo

大小类别

• 1K<n<10K