ewof/synthetic-instruct-unfiltered-deduped
收藏Hugging Face2023-05-13 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/ewof/synthetic-instruct-unfiltered-deduped
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是基于Dahoas/synthetic-instruct-gptj-pairwise数据集修改而来，移除了2453个明显的对齐实例和44个重复项，最终保留了30646条指令。数据格式从parquet转换为json，并使用了清理脚本进行处理。
提供机构：
ewof原始信息汇总
数据集概述
数据集名称
Dahoas/synthetic-instruct-gptj-pairwise
数据集处理
- 移除了2453个明显的对齐实例和44个重复项。
- 剩余30646条指令。
数据集格式转换
- 原始数据格式为parquet，通过parquet2json工具转换为json格式。
- 运行了clean.py脚本进行数据清洗。
数据集灵感来源
- 灵感来源于https://huggingface.co/datasets/ehartford/WizardLM_alpaca_evol_instruct_70k_unfiltered
数据清洗脚本
- 基于anon8231489123提供的清理脚本，改编为wizardlm_clean.py，进一步改编为clean.py。
