kalomaze/StackMix-v0.1
收藏Hugging Face2024-02-28 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/kalomaze/StackMix-v0.1
下载链接
链接失效反馈官方服务：
资源简介：
这是一个实验性的小型数据集，创建者在一个下午内完成了数据集的构建。数据集包括从StackOverflow和其他StackExchange子论坛中精选的非GPT生成的示例，涉及写作建议和其他现实世界的问题。通过不同的提示格式复制了这些示例，以确保数据集能够泛化到Alpaca和官方llama2-chat提示布局。此外，数据集中包含两个长上下文异常值（一个电视剧本和《1984》的前几章）以及一个将多个单次响应组合成长上下文的示例，以帮助模型学会在适当的时候忽略旧的部分上下文，避免过拟合或重复。
这是一个实验性的小型数据集，创建者在一个下午内完成了数据集的构建。数据集包括从StackOverflow和其他StackExchange子论坛中精选的非GPT生成的示例，涉及写作建议和其他现实世界的问题。通过不同的提示格式复制了这些示例，以确保数据集能够泛化到Alpaca和官方llama2-chat提示布局。此外，数据集中包含两个长上下文异常值（一个电视剧本和《1984》的前几章）以及一个将多个单次响应组合成长上下文的示例，以帮助模型学会在适当的时候忽略旧的部分上下文，避免过拟合或重复。
提供机构：
kalomaze
原始信息汇总
数据集概述
数据来源
- 从StackOverflow和其他StackExchange子论坛中精选的非GPT生成的示例，包括写作建议和其他现实世界问题。
数据处理
- 对选定的示例进行了不同的提示格式化，以适应Alpaca和官方llama2-chat提示布局。
- 包含两个长上下文异常值：一个电视节目剧本（10k tokens）和《1984》的前几章（32k tokens）。
- 还有一个示例，是将单次响应按顺序组合在一个长上下文中，以帮助模型在适当时候忽略较旧的上下文部分，避免过拟合或重复。
数据规模
- 数据集总计约60k tokens。
