tasksource/tasksource_dpo_pairs

数据集tasksource_dpo_pairs主要用于文本生成任务，特别是用于直接偏好优化（DPO）或从人类反馈中强化学习（RLHF）。该数据集不包含由大型语言模型生成的数据，而是收集了许多最新的专家构建的数据集，特别是在自然语言推理（NLI）和逻辑推理方面。数据集包含训练、测试和验证三个分割，分别包含4861193、137199和130547个样本。

The dataset tasksource_dpo_pairs is primarily used for text generation tasks, specifically for Direct Preference Optimization (DPO) or Reinforcement Learning from Human Feedback (RLHF). The dataset does not contain data generated by large language models but instead gathers many up-to-date expert-constructed datasets, notably on Natural Language Inference (NLI) and logical reasoning. The dataset includes three splits: train, test, and validation, containing 4861193, 137199, and 130547 samples respectively.

原始信息汇总

数据集概述

数据集名称

tasksource_dpo_pairs

语言

• 英语 (en)

数据规模

• 1M<n<10M

任务类别

• 文本生成 (text-generation)

配置

• 默认配置 (default)
  • 数据文件路径
    • 测试集 (test): data/test-*
    • 训练集 (train): data/train-*
    • 验证集 (validation): data/validation-*

数据集信息

特征

• task: 字符串类型 (string)
• chosen: 字符串类型 (string)
• rejected: 字符串类型 (string)
• prompt: 字符串类型 (string)

数据分割

• 测试集 (test)
  • 字节数: 84406333
  • 样本数: 137199
• 训练集 (train)
  • 字节数: 3144430398
  • 样本数: 4861193
• 验证集 (validation)
  • 字节数: 82252423
  • 样本数: 130547

数据大小

• 下载大小: 1675663733 字节
• 数据集总大小: 3311089154 字节