joshuasundance/mypo-4k-rfc-val-phi3test

该数据集包含100行数据，用于比较基础模型（base）和直接偏好优化模型（DPO）的输出。数据集的验证分割包含100个示例，每个示例包含prompt、rejected、chosen、index、dpo_output和base_output等特征。数据集的语言为英语，标签包括phi3、python、dpo和mypo。

The dataset includes the following features: prompt (string), rejected (string), chosen (string), index (int64), dpo_output (string), and base_output (string). It is divided into a validation set with 100 examples, totaling 162001 bytes. The download size of the dataset is 80735 bytes, and the dataset size is 162001 bytes. The dataset is licensed under MIT, primarily in English, with tags including phi3, python, dpo, and mypo. The dataset is used to compare base and dpo outputs, but some dpo outputs were truncated due to sloppy coding, with plans for future updates.

原始信息汇总

数据集概述

数据集信息

• 特征:
  • prompt: 字符串类型
  • rejected: 字符串类型
  • chosen: 字符串类型
  • index: 整数类型
  • dpo_output: 字符串类型
  • base_output: 字符串类型
• 分割:
  • validation: 包含100个样本，总大小为162001字节
• 下载大小: 80735字节
• 数据集大小: 162001字节
• 配置:
  • default: 包含验证集文件路径 data/validation-*
• 许可证: MIT
• 语言: 英语
• 标签:
  • phi3
  • python
  • dpo
  • mypo

数据集描述

• 包含100行数据，来自 https://huggingface.co/datasets/joshuasundance/mypo-4k-rfc 的验证集。
• 用于比较 base 和 dpo 输出。
• 数据集存在一些问题，部分 dpo 输出的开头被截断。
• 未来将进行更新。

性能比较

• base: 16:55, 10.16s/it
• DPO: 15:36, 9.36s/it