adamo1139/uninstruct-v1-experimental-chatml
收藏Hugging Face2024-06-14 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/adamo1139/uninstruct-v1-experimental-chatml
下载链接
链接失效反馈官方服务：
资源简介：
SlimPajama-6B的一个子集，其中在文本中随机添加了与chatml提示格式相关的标记，目的是使模型忘记如何执行指令，使其表现得像一个完成模型而不是指令跟随模型。此外，Yi 1.5模型在合成的SFT数据上受到了污染，因此在进一步微调之前需要进行去污染处理，以避免最终模型表现得像ChatGPT。该数据集也适用于Qwen 1.5和Qwen 2模型，因为它们也受到了污染。
SlimPajama-6B的一个子集，其中在文本中随机添加了与chatml提示格式相关的标记，目的是使模型忘记如何执行指令，使其表现得像一个完成模型而不是指令跟随模型。此外，Yi 1.5模型在合成的SFT数据上受到了污染，因此在进一步微调之前需要进行去污染处理，以避免最终模型表现得像ChatGPT。该数据集也适用于Qwen 1.5和Qwen 2模型，因为它们也受到了污染。
提供机构：
adamo1139
