QuasarResearch/OpenCerebrum-2.0-llama3-optimized
收藏Hugging Face2024-06-17 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/QuasarResearch/OpenCerebrum-2.0-llama3-optimized
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是Quasar Research为了减少语言模型中的幻觉现象而进行的最新尝试。数据集的设计灵感来源于SliCK研究论文，该论文指出如果SFT数据包含语言模型不知道的知识，它会教会模型产生幻觉答案。数据集通过指令调优的llama-3模型对指令进行分类，分为Certain或Uncertain，理论上这应该移除任何需要模型不具备知识的示例，从而减少幻觉。数据集是实验性的，尚未确定是否能实际提高性能。
该数据集是Quasar Research为了减少语言模型中的幻觉现象而进行的最新尝试。数据集的设计灵感来源于SliCK研究论文，该论文指出如果SFT数据包含语言模型不知道的知识，它会教会模型产生幻觉答案。数据集通过指令调优的llama-3模型对指令进行分类，分为Certain或Uncertain，理论上这应该移除任何需要模型不具备知识的示例，从而减少幻觉。数据集是实验性的，尚未确定是否能实际提高性能。
提供机构：
QuasarResearch
原始信息汇总
数据集概述
基本信息
- 语言: 英语
- 许可证: Apache-2.0
- 大小分类: 1K<n<10K
- 任务分类:
- 文本到文本生成
- 文本生成
- 问答
数据集特征
- 问题 (question)
- from: 字符串类型
- value: 字符串类型
- 答案 (answer): 字符串类型
- 置信度 (confidence): 字符串类型
数据集分割
- 训练集 (train)
- 字节数: 22,151,014
- 示例数: 6,287
- 下载大小: 10,390,149
- 数据集大小: 22,151,014
配置
- 配置名称: default
- 数据文件:
- 分割: 训练
- 路径: data/train-*
