thepowerfuldeez/Qwen-summarize-dataset-train

该数据集用于Qwen2-1.5B模型在摘要任务中的实验性偏好微调。数据集生成使用了RedPajamaV2数据集中的样本，特别是Arxiv、Wikipedia和StackExchange文档。数据经过过滤，保留了长度在900到1800个标记之间的样本。测试集则保留了字符数在16000到100000之间的文档。使用Qwen2-72B-Instruct模型生成适合DPO训练的合成偏好数据集，生成过程中只保存输入少于32k标记的输出。任务要求LLM对文本进行摘要，生成两个不同的摘要，第二个摘要稍短，并提供解释和评分，最终返回最佳摘要。生成的数据集包括训练集和测试集，测试集中的文档显著更长。

原始信息汇总

数据集概述

数据集特征

• prompt: 数据类型为字符串。
• ratings: 数据类型为整数序列。
• chosen: 数据类型为字符串。
• rejected: 数据类型为字符串。

数据集分割

• train: 包含20436个样本，占用127692621字节。

数据集大小

• 下载大小: 65683578字节。
• 数据集大小: 127692621字节。

配置信息

• default: 数据文件路径为data/train-*。

数据生成方法

• 数据集生成自RedPajamaV2 dataset，具体为Arxiv、Wikipedia、StackExchange文档。
• 下载了1%的数据，筛选出长度在900到1800个token之间的样本。
• 使用Qwen2-72B-Instruct模型生成合成偏好数据集，适用于DPO训练。
• 模型接受最大32k个token，仅保存输入短于32k个token的输出。
• 任务要求LLM总结文本摘录，提供两个不同长度的总结，解释，评分，并返回最佳总结。
• 使用正则表达式解析LLM输出，过滤掉总结过于相似（Levenshtein距离>0.75）和评分差异低的响应。
• 部分提示标准来自GEval suite。

提示生成

• 生成提示的链接：generation_prompt.txt