L4NLP/chunkllama-long-dialog

该数据集包含由AlpacaGPT-4和ShareGPT提供的拼接长对话数据，每条记录大约包含16,000个tokens。数据集通过Vicuna的脚本对ShareGPT数据进行预处理，保留了非常长的对话，并且只保留了由GPT-4生成的回复。使用此数据集对Llama 2模型进行微调，可以获得与Vicuna v1.5在16k上下文长度下相当的性能。

原始信息汇总

数据集概述

数据集组成

• 本数据集包含由AlpacaGPT-4和ShareGPT源数据拼接而成的长对话数据。
• 每条数据大约包含16,000个令牌。

数据处理

• 使用Vicuna的脚本对ShareGPT数据进行预处理。
• 仅保留非常长的对话内容。
• 保留所有由GPT-4生成的回复样本。

应用效果

• 通过在Llama 2上进行微调，该数据集能够达到与Vicuna v1.5在16k上下文长度下的性能相当。