nkwbtb/summ_consistency_dpo
收藏Hugging Face2024-06-27 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/nkwbtb/summ_consistency_dpo
下载链接
链接失效反馈官方服务：
资源简介：
该数据集可用于微调大语言模型（LLMs）在摘要一致性方面的表现。数据集是通过Mistral-7B-Instruct-v0.1模型生成的，使用了特定的温度设置和代码。一致性评分是通过HHEM模型进行的，并且根据评分构建了偏好对。数据集的训练部分来源于CNN/Dailymail、Xsum/BBC和VitaminC三个数据集。
该数据集可用于微调大语言模型（LLMs）在摘要一致性方面的表现。数据集是通过Mistral-7B-Instruct-v0.1模型生成的，使用了特定的温度设置和代码。一致性评分是通过HHEM模型进行的，并且根据评分构建了偏好对。数据集的训练部分来源于CNN/Dailymail、Xsum/BBC和VitaminC三个数据集。
提供机构：
nkwbtb
原始信息汇总
Summarization Consistency Preference 数据集概述
数据集用途
该数据集用于微调大型语言模型（LLMs）的摘要一致性。
数据集生成
- 模型: 使用 Mistral-7B-Instruct-v0.1 模型生成。
- 参数设置:
- 温度: 1.0
- n = 6
- 代码: https://github.com/vectara/halu_control/blob/main/3_dpo.ipynb
一致性评分
- 评分模型: 使用 HHEM 模型进行一致性评分。
- 偏好对构建:
- 选择: HHEM 评分 > 0.8
- 拒绝: HHEM 评分 < 0.5
数据集来源
训练数据集包括以下数据集的训练部分:
- CNN/Dailymail: https://huggingface.co/datasets/abisee/cnn_dailymail
- Xsum/BBC: https://huggingface.co/datasets/EdinburghNLP/xsum
- VitaminC: https://huggingface.co/datasets/tals/vitaminc
