lmg-anon/VNTL-v2.5-1.6k-dpo-pairs

这是一个用于VNTL的实验性DPO数据集，旨在通过DPO方法改进翻译质量。数据集使用vntl-7b-v0.3.1模型生成，并基于VNTL-v2.5-1k数据集的提示。所有被拒绝的序列都是使用温度0.7生成的，并通过余弦相似度阈值选择。README还提到了一些后续可能考虑的问题，如蒸馏、避免使用人类数据、以及CPO可能比DPO更适合翻译任务。

原始信息汇总

数据集卡片 "VNTL-v2.5-1.6k-dpo-pairs"

概述

• 数据集名称: VNTL-v2.5-1.6k-dpo-pairs
• 任务类别: 翻译
• 语言: 英语 (en), 日语 (ja)
• 标签: dpo

数据集配置

• 默认配置:
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

数据集信息

• 特征:
  • prompt: 字符串类型
  • chosen: 字符串类型
  • rejected: 字符串类型
• 分割:
  • train:
    • 字节数: 23750414
    • 样本数: 8988
• 下载大小: 7587165
• 数据集大小: 23750414

生成方法

• 模型: vntl-7b-v0.3.1
• 数据来源: VNTL-v2.5-1k
• 生成参数:
  • 温度: 0.7
  • 选择方法: 余弦相似度阈值

注意事项

• 蒸馏: 数据集未经过滤，可能存在平局或选定序列质量不佳的情况。
• 避免人工数据: DPO在直接从模型采样的序列上表现更好，因此可以通过从模型本身提取选定序列来增强数据集。
• CPO: CPO可能比DPO更适合，因为它对准确性的宽容度更高，这对翻译任务更有利。