Ba2han/databricks-dolly_rated
收藏Hugging Face2024-02-10 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Ba2han/databricks-dolly_rated
下载链接
链接失效反馈官方服务：
资源简介：
该数据集经过处理，合并了指令和上下文列，使用Senku-70B Q2 GGUF模型对1734个示例进行了评分，其中约10%的示例评分低于6.5分，表明数据质量较低或存在混淆。数据处理耗时约15小时，使用RTX 3090显卡。此外，数据集可能通过改进元提示和量化模型来提升质量。
该数据集经过处理，合并了指令和上下文列，使用Senku-70B Q2 GGUF模型对1734个示例进行了评分，其中约10%的示例评分低于6.5分，表明数据质量较低或存在混淆。数据处理耗时约15小时，使用RTX 3090显卡。此外，数据集可能通过改进元提示和量化模型来提升质量。
提供机构：
Ba2han
原始信息汇总
数据集概述
数据处理
- 合并列：首先将“instruction”和“context”列合并，因为单独的指令（如“总结这个”）没有对应的文本段落显得不合理。
数据评估
- 评估模型：使用Senku-70B Q2 GGUF模型对每个样本进行评分，评分标准基于清晰度、完整性、正确性、相关性和格式，评分范围为0到10。
- 评分结果：
- 有1734个样本得分低于6.5分。
- 有562个样本得分低于5分。
- 大约10%的数据被认为是低质量或令人困惑的。
处理时间与资源
- 处理时间：处理整个数据集大约需要15小时。
- 使用硬件：处理过程中使用了RTX 3090显卡。
数据清理
- 清理内容：Miqu的Fine-Tune Senku模型在指令模式下仅提供数值答案，移除了少于一百个的字母评分，这些被移除的内容大多较为混乱。
